世界欠他一个图灵奖！LSTM之父的深度学习“奇迹之年”( 五 )_图1

第 15 节：用网络来调整网络 / 合成梯度 (1990)

第 16 节：在线递归神经网络的 O (n^3) 梯度 (1991)

第 17 节：深层神经热交换器 (1990)

第 18 节：博士论文 (1991 年)

第 19 节：从无监督预训练到纯粹监督学习 (1991-95 和 2006-11)

第 20 节：20 世纪 90 年代 FKI 人工智能技术报告系列

第 21 节：结束语

0、深度学习的背景：神经网络

人脑大约有 1000 亿个神经元，每个神经元平均与其他 1 万个神经元连接。有些是输入神经元，将数据 (声音、视觉、触觉、疼痛、饥饿) 喂给其他神经元。其他的是控制肌肉的输出神经元。大多数神经元隐藏在思考发生的位置。你的大脑显然是通过改变连接的强度或权重来学习的，这些强度或权重决定了神经元之间的相互影响的强度，而这些神经元似乎编码了你一生的经历。人工神经网络 (NNs) 与之类似，它能比以前的方法更好地学习识别语音、手写文字或视频、最小化痛苦、最大化乐趣、驾驶汽车，等等。