世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(21)_图1

17、深度神经热交换器 (1990)

神经热交换器 (Neural Heat Exchanger) 是一种用于深度多层神经网络的监督学习方法。它的灵感来自物理热交换器。输入 “加热”，同时通过许多连续的层进行转换，目标从深层管道的另一端进入并 “冷却”。与反向传播不同，该方法完全是局部的。这使得它的并行实现变得微不足道。自 1990 年以来，它是在各大学的不定期演讲中首次提出的，与亥姆霍兹机器 (Helmholtz Machine) 关系密切。同样，实验是由我的学生 Sepp Hochreiter 进行的。

图19/24

18、博士论文 (1990)

我在 TUM 的博士论文发表于 1991 年，总结我自 1989 年以来的一些早期工作，包括第一个强化学习 (RL) 神经经济（Neural Bucket Brigade），学习算法，具有端到端微分子目标生成器的分层 RL（HRL），通过两个称为控制器 C 和世界模型 M 的 RNN 的组合进行 RL 和规划，序列注意力学习 NN，学会调整其他 NN 的 NN (包括 “合成梯度”)，以及用于实施好奇心的无监督或自我监督的生成对抗网络。