一种新颖的贝叶斯优化的1-Bit CNNs( 五 )_转载自：学术头条（ID：SciTouTiao）作

研究现状

量化采用低精度值代替全精度值，可加速卷积运算，同时节省存储开销。而1-Bit卷积神经网络是量化的极端情况，其卷积核和激活是二值化的。 DoReFa-Net【1】开发了具有低比特宽度参数和梯度的1-Bit卷积核以加快训练和推理。不同的是， ABC-Net【2】采用多个二进制权值和激活来近似全精度权值，从而可以降低预测精度退化。

除此之外， wang等【3】提出了调制卷积网络，仅对核进行二值化，并取得了比参考基线更好的结果。 Leng等借鉴了ADMM思想，由少量比特表示网络权重来压缩深度模型【4】。 Bi-real net【5】探索了残差结构的新变体，以保留符号函数之前的真实激活，并提出了对不可微分符号函数的导数的紧逼近。 Zhuang等提出了一种使用两阶段方法对权重和激活进行交替量化的2~4位量化方法【6】，并在存储器，效率和性能之间提供了最佳均衡方案。

此外， Wu等提出了对训练和推理过程进行离散化的方法【7】，它不仅量化了权重和激活，而且量化了梯度和误差。 Gu等提出了一种基于离散投影反向传播算法的量化方法【8】，以获得更好的1-bit CNNs 。