一种新颖的贝叶斯优化的1-Bit CNNs( 九 )_转载自：学术头条（ID：SciTouTiao）作

ImageNet数据集结果

如下表所示，与其他最先进1-bit CNNs量化网络相比， BONN获得最高的准确度，其中Bi-Real Net和PCNN的性能与BONN最为接近，而BONN的Top-1分别超过前者大约3%和2% 。 DoReFa-Net和TBN尽管使用了超过1-bit来量化激活，性能仍逊于BONN 。

内存使用率和效率分析

在BONN中， BONN遵循XNOR-Net采用的策略，该策略在第一个卷积层，所有1×1卷积和全连接层中保持全精度参数，由此， ResNet18的总体压缩率为11.10 。对于效率分析，如果卷积的所有操作数都是二进制的，可以通过XNOR和位计数操作来估计卷积【M. Courbariaux I. Hubara D. Soudry R. El-Yaniv and Y. Bengio. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or- 1. arXiv preprint arXiv:1602.02830 2016】。

总结

作者提出了贝叶斯优化的1-bit CNNs（BONN），该模型考虑了全精度kernel和features分布，从而形成了具有两个新贝叶斯损失的统一贝叶斯框架。贝叶斯损失用于调整kernel和features的分布，以达到最佳解决方案。