世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(25)_图1

当然，人们不得不等待速度更快的计算机来将这些算法商业化。然而，到 2010 年中期，我们的算法被苹果，谷歌，Facebook，亚马逊，三星，百度，微软等公司大量使用，每天在数十亿台计算机上运行。

大多数上述结果实际上是首次发表是在慕尼黑工业大学的 FKI 技术报告系列，为此，我手工画了很多插图，本文的插图就是其中一些。FKI 系列现在在人工智能的历史中起着重要作用，因为它引入了几个重要概念：用于非常深的神经网络的无监督预训练、将一个 NN 压缩 / 蒸馏成另一个、长短期记忆、通过神经网络使学习进度最大化的好奇心 (Artificial Curiosity)、端到端快速权重和学会编程其他神经网络的神经网络、通过 NN 学习序列注意力、将目标定义命令作为额外的 NN 输入、分层强化学习等等。

特别是，其中一些概念现在已经在整个 AI 研究领域被广泛使用：使用循环神经世界模型进行规划、作为额外的 NN 输入的高维奖励信号 / 通用值函数、确定性策略梯度、NN 既具有生成性又具有对抗性、人工好奇心和相关概念。1990 年代以后的引人注目的 FKI 技术报告描述了大幅压缩 NN 以提高其泛化能力的方法。