世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(15)_图1

图13/24

我还展示了如何快速使用权重进行元学习或 “学习如何学习”(learning to learn)，这是我自 1987 年以来的主要研究课题之一。

顺便一提，同年我们在 Deep RL (但没有快速权重) 方面也做了相关工作，据我所知，这是第一篇标题包含 "learn deep” 这个词组的论文 (2005 年)。

如今，最著名的基于快速权重的端到端可微分神经网络实际上就是我们的原始 LSTM 网络，其遗忘门学会控制内部 LSTM 单元自循环连接的快速权重。所有主要的 IT 公司现在都大量使用 LSTM，而这可以追溯到 1991 年。

9、通过神经网络学习序列注意力 (1990)

与传统的神经网络不同，人类使用连续的目光移动和选择性注意力来检测和识别模式。这可能比传统的高度并行的 FNN 方法更有效。这就是为什么我们在 30 年前提出了序列注意力学习神经网络。不久之后，我还明确地提到了 “内部注意力焦点” 的学习。

世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(15)