易坊好文馆

  1. 首页 > 玩科技 >

反向传播与梯度下降的通俗解释( 九 )

  • 调整权重值 ， 再输入2......
  • 所有样本遍历一遍 ， 计算平均的损失函数值；
  • 依此类推 ， 重复3 ， 4 ， 5 ， 6过程 ， 直到损失函数值小于一个指标 ， 比如0.001 ， 我们就可以认为网络训练完毕 ， 黑盒子“破解”了 ， 实际是被复制了 ， 因为神经网络并不能得到黑盒子里的真实函数体 ， 而只是近似模拟 。

    • 从上面的过程可以看出 ， 如果误差值是正数 ， 我们就把权重降低一些；如果误差值为负数 ， 则升高权重 。

    2.0.5 总结

    简单总结一下反向传播与梯度下降的基本工作原理：

    1. 初始化；
    2. 正向计算；
    3. 损失函数为我们提供了计算损失的方法；
    4. 梯度下降是在损失函数基础上向着损失最小的点靠近而指引了网络权重调整的方向；
    5. 反向传播把损失值反向传给神经网络的每一层 ， 让每一层都根据损失值反向调整权重；
    6. goto 2 ， 直到精度足够好（比如损失函数值小于0.001） 。

    推荐阅读


    上一篇：一起封禁虚拟货币交易！微信支付和支付宝携手究竟是排斥谁？

    下一篇：谷歌：这些是2019年最受欢迎的GIF图 太神了