世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”( 六 )_图1

图4/24

当前的商业应用大多集中在监督学习，使神经网络模仿人类教师。在许多试验中，Seppo Linnainmaa 于 1970 年提出的梯度计算算法，今天通常称为反向传播或自动微分的反向模式，以逐步削弱某些神经网络连接和加强其他连接的方式，使神经网络行为越来越像老师。

今天最强大的神经网络往往都非常深，也就是说，它们有许多层神经元或许多后续的计算阶段。然而，在 20 世纪 80 年代，基于梯度的训练并不适用于深度神经网络，只适用于浅层神经网络。

图5/24

这个问题在循环神经网络 (RNN) 中表现得最为明显。与更有限的前馈神经网络 (FNN) 不同，RNN 具有反馈连接。这使得 RNN 功能强大，通用的并行序列计算机可以处理任意长度的输入序列 (例如语音或视频)。原则上，RNN 可以实现在笔记本电脑上运行的任何程序。如果我们想要构建一个通用人工智能 (AGI)，那么它的底层计算基础必须是类似于 RNN 的东西 ——FNN 从根本上是不够的。RNN 与 FNN 的关系就像普通计算机与计算器的关系一样。