世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”( 十 )_图1

4、长短时记忆网络：有监督深度学习

长短时记忆神经网络 (LSTM) 克服了 Sepp 在其 1991 年的毕业论文中提出的基本深度学习问题。我认为这是机器学习历史上最重要的论文之一。它还通过我们在 1995 年的技术报告 [LSTM0] 中所称的 LSTM 的基本原理为解决这个问题提供了重要的见解。这导致了下面描述的大量后续工作。

图8/24

明年，我们将庆祝 LSTM 首次投稿时未能通过同行评审 25 周年。在 1997 年主要的同行评审出版物 [LSTM1](现在是神经计算历史上引用最多的文章) 之后，LSTM 得到了进一步的改进。一个里程碑是带有forget gate[LSTM2] 的 “vanilla LSTM 架构”——1999-2000 年的 LSTM 变体，现在每个人都在使用，例如，在谷歌的 Tensorflow 中。LSTM 的遗忘门实际上是一种端到端可微的快速权值控制器，我们在 1991 年也介绍了这种控制器。