反向传播与梯度下降的通俗解释( 二 )

在神经网络训练中 , 我们把“猜”叫做初始化 , 可以随机 , 也可以根据以前的经验给定初始值 。 即使是“猜” , 也是有技术含量的 。

这三个概念是前后紧密相连的 , 讲到一个 , 肯定会牵涉到另外一个 。 但由于损失函数篇幅较大 , 我们将在下一章中再详细介绍 。

下面我们举几个例子来直观的说明下这三个概念 。

2.0.1 例一:猜数

甲乙两个人玩儿猜数的游戏 , 数字的范围是[150

甲:我猜5

乙:太小了

甲:50

乙:有点儿大

甲:30

乙:小了

......

在这个游戏里: