世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”( 三 )_图1

图3/24

Jürgen Schmidhuber

除了 LSTM 之外，Jürgen Schmidhuber “引以为傲” 的还有他在 1992 年提出的PM（Predictability Minimization）模型。他坚持认为现在大火的 GAN 就是 PM 的变种，两者的区别就在于方向是反的，为此，Jürgen 还和 GAN 的提出者 Ian Goodfellow 有过线上线下激烈的交锋，引起业界广泛讨论。

至于对深度学习三巨头 Hinton、Bengio 和 LeCun，Jürgen Schmidhuber 也打过几轮口水仗，认为三人在自己的圈子里玩，对深度学习领域其他更早期先驱人物的贡献则只字不提。

是否人们对 Jürgen Schmidhuber 的贡献认知过少？这篇文章详述了 Jürgen 和他的团队在 “奇迹之年” 做出的许多研究，提出的许多思想，非常值得一看。

本文的目录如下：

第 0 节：深度学习的背景：神经网络

第 1 节：第一个非常深的神经网络，基于无监督预训练 (1991)

第 2 节：将神经网络压缩 / 蒸馏成另一个 (1991)