世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(14)_图1

图12/24

第一个使用 PM 的实验是在大约 30 年前进行的，当时其计算成本大约是现在的 100 万倍。当计算成本在 5 年后便宜了 10 倍时，我们可以证明，应用于图像的半线性 PM 变体会自动生成特征检测器。

8、端到端可微快速权重：让神经网络学习编程神经网络 (1991)

一个典型的神经网络比神经元有更多的连接。在传统的神经网络中，神经元激活变化快，而连接权值变化慢。也就是说，大量的权重无法实现短期记忆或时间变量，只有少数神经元的激活可以。具有快速变化的“快速权重”(fast weights)的非传统神经网络克服了这一限制。

神经网络的动态连接或快速权值是由 Christoph v. d. Malsburg 于 1981 年提出的，其他学者对此进行了进一步的研究。然而，这些作者并没有提出端到端可微分的系统，通过梯度下降学习来快速操作快速权重存储。我在 1991 年发表了这样一个系统，其中慢速神经网络学习控制独立的快速神经网络的权值。也就是说，我将存储和控制分开，就像在传统计算机中那样，但是以完全的神经方式 (而不是以混合方式)。后续的许多工作基于这一方法。