反向传播与梯度下降的通俗解释( 三 )_第2章神经网络中的三个基本概念2.0通俗

初始化：甲猜5；

前向计算：甲每次猜的新数字；

损失函数：乙在根据甲猜的数来和自己心中想的数做比较，得出“大了”或“小了”的结论；

反向传播：乙告诉甲“小了”、“大了”；

梯度下降：甲根据乙的反馈中的含义自行调整下一轮的猜测值。

这里的损失函数是什么呢？就是“太小了” ， “有点儿大” ，很不精确！这个“所谓的”损失函数给出了两个信息：

方向：大了或小了
程度：“太” ， “有点儿” ，但是很模糊

2.0.2 例二：黑盒子

假设有一个黑盒子如图2-1 。

图2-1 黑盒子

我们只能看到输入和输出的数值，看不到里面的样子，当输入1时，输出2.334 ，然后黑盒子有个信息显示：我需要输出值是4 。然后我们试了试输入2 ，结果输出5.332 ，一下子比4大了很多。那么我们第一次的损失值是 2.334?4=?1.6662.334?4=?1.666 ，而二次的损失值是 5.332?4=1.3325.332?4=1.332 。