世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(26)_图1

21. 结束语

深度学习是在官方语言不是英语的地方被发明的。第一个具有任意深度的神经网络始于 1965 年的乌克兰 (当时是苏联)。五年后，现代反向传播方法在芬兰出现 (1970)。基本的深度卷积神经网络架构是在 20 世纪 70 年代的日本发明的，到 1987 年，卷积网络与权重共享和反向传播相结合。无监督或自我监督的对抗网络起源于慕尼黑 (1990 年)，慕尼黑也是 20 世纪 80 年代第一批真正的自动驾驶汽车的诞生地。基于反向传播的深度学习的基本问题也诞生于慕尼黑 (1991)。第一个克服这个问题的 “现代” 深度学习网络也是如此，它们通过 (1) 无监督的预训练；和 (2) 长短时记忆 [LSTM] 克服这个问题，LSTM “可以说是最具商业价值的人工智能成果”。LSTM 是在瑞士进一步发展起来的，这也是第一个在图像识别竞赛获胜的基于 GPU 的 CNN (2011 年)，也是第一个在视觉模式识别中超越人类的神经网络 (2011 年)，以及第一个有超过 100 层、非常深的前馈神经网络。