世界欠他一个图灵奖!LSTM之父的深度学习“奇迹之年”( 五 )

第 15 节:用网络来调整网络 / 合成梯度 (1990)

第 16 节:在线递归神经网络的 O (n^3) 梯度 (1991)

第 17 节:深层神经热交换器 (1990)

第 18 节:博士论文 (1991 年)

第 19 节:从无监督预训练到纯粹监督学习 (1991-95 和 2006-11)

第 20 节:20 世纪 90 年代 FKI 人工智能技术报告系列

第 21 节:结束语

0、深度学习的背景:神经网络

人脑大约有 1000 亿个神经元,每个神经元平均与其他 1 万个神经元连接。有些是输入神经元,将数据 (声音、视觉、触觉、疼痛、饥饿) 喂给其他神经元。其他的是控制肌肉的输出神经元。大多数神经元隐藏在思考发生的位置。你的大脑显然是通过改变连接的强度或权重来学习的,这些强度或权重决定了神经元之间的相互影响的强度,而这些神经元似乎编码了你一生的经历。人工神经网络 (NNs) 与之类似,它能比以前的方法更好地学习识别语音、手写文字或视频、最小化痛苦、最大化乐趣、驾驶汽车,等等。

推荐阅读