一种新颖的贝叶斯优化的1-Bit CNNs( 八 )_转载自：学术头条（ID：SciTouTiao）作

作者使用WRN22在CIFAR-10数据集上，结果如下表所示，贝叶斯kernel损失和贝叶斯feature损失都可以提高准确度，一起使用时， Top-1准确度达到最高59.3% 。

如下图所示为BONNs第1个二值化卷积层的kernel权重分布。在训练之前，将kernel初始化为单模高斯分布。从第2个到第200个epoch ，两种模式下的kernel权重分布在变得越来越紧凑，证明了贝叶斯kernel损失可以将kernel正则化为可能的二进制分布。

如下图所示，为XNOR和BONN的权重分布对比。 XNOR和BONN之间的权重分布差异表明，通过我们提出的贝叶斯kernel损失，在卷积层上对kernel实现了了正则化。

下图显示了XNOR Net和BONN训练过程中二值化值的演变，表明在BONN中学习到的二值化值更加多样化。

CIFAR10/100数据集结果

作者使用Three WRN变种：22层WRN ， kernel stage为16-16-32-64和64-64-128-256 。如下表所示， BONN在两个数据集上的性能均优于XNOR Net 。即使与全精度WRN相比， BONN性能也相当不错。

一种新颖的贝叶斯优化的1-Bit CNNs( 八 )