世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”( 七 )_图1

特别是，与 FNN 不同，RNN 原则上可以处理任意深度的问题。然而，20 世纪 80 年代早期的 RNN 在实践中未能学习到深层次的问题。我想克服这个缺点，实现基于 RNN 的 “通用深度学习”。

1、第一个非常深的神经网络，基于无监督预训练 (1991)

我克服上面提到的深度学习问题的第一个想法是，通过对一组分层的 RNN 进行无监督预训练来促进深度 RNN 中的监督学习 (1991)，从而得到了第一个 “非常深的神经网络”，我称之为Neural Sequence Chunker。换句话说，chunker 学习压缩数据流，使得深度学习问题不那么严重，可以通过标准的反向传播来解决。尽管那时的计算机比现在慢一百万倍，但到 1993 年，我的方法已经能够解决以前无法解决的 “深度学习” 任务，神经网络的层数超过了 1000 层。1993 年，我们还发布了一个后续版本的Neural History Compressor。