旷视首席科学家孙剑：深度学习变革视觉计算丨CCF-GAIR 2019(20)_7月12日-7月14日

ResNet出来后，同行给了各种各样的解释。这是我比较相信的解释：而非ResNet很容易表示0映射，即输入信号和输出很接近0；而ResNet很容易表示Identity映射，即输入信号和输出很接近，直观的理解是当一个网络非常深时，相邻的变化越来越小。这种参数化的形式更利于学习，以至于我们神经网络的优化更容易。

这里列出深度学习之前遇到的很多困难：

数据、计算力不够；

如何初始化网络的方式；

如何使用非线性单元等。

ResNet补充了一点：网络结构应当对优化更友好。综合这些在深度学习方面的各种进展，今天每个人都可以很好地重现结果，做出高度可重复的实验。