“人工智能的数理基础”主题论坛，他们从数学角度解决AI问题( 七 )_图1

从1995年到2005年的十年，是统计机器学习黄金发展的十年。我们看到的应用领域，比如计算机识别、语音识别，他们的核心方法是统计方法。

统计学习是统计建模和算法计算的结合。神经网络在这个时期表现的并不是很好，处于低落阶段。

但当统计学习发展到一定阶段，人们发现数据到表示这件事情还是无法绕过。研究人员就顺其自然地想要让机器通过学习，也就是通过一个自动化的方式去解决表示问题。

所以机器学习进入了第三个阶段即基于深度表示的学习。在这个时期，大模型+大数据+大计算使得这个思路变得可行。

张志华认为机器学习的关键在于表示学习，表示需要适合预测和适合计算。深度表示目前遇到的挑战在于，由于大数据的需要可能导致过参数化，并且由于多层的表示，导致问题高度非凸化。

机器学习的基础原则是可预测性、可计算性以及稳定性。

张教授也介绍了机器学习的关键技术思路：深度表示、规范技术、平均化技术。其中，规范技术用来处理过拟合、病态、非稳定性的问题。

“人工智能的数理基础”主题论坛，他们从数学角度解决AI问题( 七 )