反向传播与梯度下降的通俗解释( 八 )

2.0.4 黑盒子的真正玩儿法

以上三个例子比较简单 , 容易理解 , 我们把黑盒子再请出来:黑盒子这件事真正的意义并不是猜测当输入是多少时输出会是4 。 它的实际意义是:我们要破解这个黑盒子!于是 , 我们会有如下破解流程:

  1. 记录下所有输入值和输出值 , 如表2-1 。

表2-1 样本数据表

样本ID输入(特征值)输出(标签)112.2121.12.43131.22.652424.42

  1. 搭建一个神经网络 , 给出初始权重值 , 我们先假设这个黑盒子的逻辑是: z=x+x2z=x+x2 ;
  2. 输入1 , 根据 z=x+x2z=x+x2 得到输出为2 , 而实际的输出值是2.21 , 则误差值为 2?2.21=?0.212?2.21=?0.21 , 小了;
  3. 调整权重值 , 比如 z=1.5x+x2z=1.5x+x2 , 再输入1.1 , 得到的输出为2.86 , 实际输出为2.431 , 则误差值为 2.86?2.431=0.4292.86?2.431=0.429 , 大了;
  4. 调整权重值 , 比如 z=1.2x+x2z=1.2x+x2 再输入1.2......

    推荐阅读