一种新颖的贝叶斯优化的1-Bit CNNs( 七 )

贝叶斯损失(Bayesian Losses)

训练1-bit CNNs有三个步骤:正向传递 , 反向传递和通过梯度更新参数 。 二值化的权重仅在前向(inference)和梯度计算时考虑 。 更新参数后 , 获得了全精度权重 。 如何将其连接是确定网络性能的关键 。 作者在概率框架中对其进行求解 , 以获得最佳的1-bit CNNs 。

1.贝叶斯kernel损失

2.贝叶斯feature损失

通过贝叶斯学习优化1-bit CNNs

反向传递

实验

消融实验

推荐阅读