一种新颖的贝叶斯优化的1-Bit CNNs( 六 )_转载自：学术头条（ID：SciTouTiao）作

作者认为1-bit CNNs与全精度CNNs相比，精度明显降低的原因有两个：1）全精度和1-bit CNNs之间的关系并未充分研究；2）贝叶斯学习作为一种公认的全局优化策略【9】，在1-bit CNNs领域被忽略了。

方法

概述

作者利用贝叶斯学习的有效性以端到端的方式构建1-bit CNNs 。特别地，引入了两个新的贝叶斯损失，在此基础上优化1-bit CNNs ，提高了效率和稳定性。在统一的理论框架下，这些贝叶斯损失不仅考虑了1-bit CNNs的kernel、weight分布，而且还监督了feature分布。下图显示了损失如何与CNN backbone相互作用。

考虑贝叶斯框架中kernels和features的先验分布，实现了两个新的贝叶斯损失，以优化1-bit CNNs的计算。贝叶斯kernel损失改善了各卷积层的分层kernel分布，而贝叶斯feature损失引入了类内紧密度（intra-class compactness）以减轻量化过程带来的干扰。注意，贝叶斯feature损失仅适用于全连接层。