世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(24)_图1

我在瑞士人工智能实验室 IDSIA 的团队进一步完善了上述关于 FNNs 中纯粹监督式深度学习的工作 (2010)，将传统的 FNNs 替换为另一种 NN 类型，即 convolutional NNs 或 CNNs。这是一个实际的突破，并在 2011 年 5 月 15 日至 2012 年 9 月 10 日期间连续 4 次在重要计算机视觉比赛中获胜。

20、20 世纪 90 年代 FKI 人工智能技术报告系列

事后看来，许多后来被广泛使用的 “现代” 深度学习的基本思想，都是在柏林墙倒塌后不久的、不可思议的 1990-1991 年，在慕尼黑大学 (TU Munich) 发表的：无监督或自我监督、数据生成、对抗网络 (认为好奇心和相关概念，见第 5 节)；深度学习的基本问题 (梯度消失 / 爆炸) 及其解决方案 (a) 针对深度 (周期性) 网络的无监督预训练 (第 1 节) 和 (b) 通向 LSTM 的基本简介 (第 4 节)。