世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”(22)_图1

图20/24

当时，其他人的神经网络研究受到统计力学的启发。我在 1990-91 年的工作体现了另一种面向程序的机器学习观点。

库尔特?哥德尔 (Kurt Godel) 在 1931 年创立了理论计算机科学，他用基于整数的通用编码语言表示数据 (如公理和定理) 和程序 (如对数据进行操作的证明生成序列)。他展示了数学，计算和人工智能的基本极限。

图21/24

正如我在 1990 年以来经常指出的，NN 的权值应该被看作是它的程序。一些人认为深层神经网络的目标是学习观测数据的有用的内部表示，但我一直倾向于认为，神经网络的目标是学习程序 (参数)，并计算此类表示。受 G?del 的启发，我构建了神经网络，其输出是其他 NN 的程序或权重矩阵，甚至是可以运行和检查自己的权重变化算法或学习算法的自引用 RNN。与 G?del 的工作不同的是，通用编程语言不是基于整数，而是基于实数值，因此典型 NN 的输出就其程序而言是可微分的。也就是说，一个简单的程序生成器（有效的梯度下降过程）可以在程序空间中计算一个方向，在该方向上可以找到更好的程序，尤其是更好的程序生成程序。自 1989 年以来，我的许多工作都充分利用了这一事实。