世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(11)_图1

图9/24

Alex 是我们第一次成功地将 LSTM 应用于语音的主要作者 (2004)[LSTM14]。2005 年，第一个具有时间反向完全传播功能的 LSTM 和双向 LSTM 发布 [LSTM3](现在广泛使用)。2006 年的另一个里程碑是用于同时对齐和识别序列的训练方法 “连接时间分类” 或 CTC。自 2007 年以来，CTC 成为基于 LSTM 的语音识别的关键。例如，在 2015 年，CTC-LSTM 组合显著改善了谷歌的语音识别 [GSR15]。

在 21 世纪初，我们展示了 LSTM 如何学习传统模型 (如隐马尔可夫模型) 无法学习的语言 [LSTM13]。这花了一段时间；但到了 2016~2017 年，谷歌翻译 [GT16] 和 Facebook 翻译 [FB17] 均基于两个连接 LSTM，一个用于输入文本，一个用于输出翻译，性能比以前的翻译模型要好得多。

2009 年，我的博士生 Justin Bayer 是一个自动设计类似 LSTM 架构的系统的主要作者，该系统在某些应用程序中表现优于普通 LSTM。2017 年，谷歌开始使用类似的 “神经架构搜索”[NAS]。

这一切的基础都是在 1991 年奠定的。

5、通过对抗生成神经网络的人工好奇心 (1990)