如何提取网络架构的先验知识？为它画幅素描吧！_：如何提取网络架构的先验知识？为它画

科技频道提示您本文原始标题是：如何提取网络架构的先验知识？为它画幅素描吧！来源：腾讯网

选自谷歌博客

机器之心编译

参与：郭元晨、Geek AI

五花八门的深度神经网络看似结构各不相同，其内在学习逻辑实则有迹可循。且看谷歌的研究人员如何通过「递归速写」方法提取知识、进行神经网络压缩，最终实现在未曾训练过的场景下的智能推理。

许多经典的机器学习方法专注于如何利用可获得的数据来做出更准确的预测。最近，研究者们也开始关注其他重要的目标，比如怎样设计一个小巧、高效又鲁棒的算法。在这些目标的驱动下，一个自然的研究课题就是设计一个基于神经网络的系统，该网络可以高效地存储其中编码的信息。换句话说，也就是设计一种概括复杂深度网络处理输入的方法的简单机制（像「速写」（sketch）一样）。「神经网络速写」是一个被广泛研究的领域，可以追溯到 Alon、Matias 和 Szegedy 的奠基性工作「The space complexity of approximating the frequency moments」。这项工作中，研究者们使得神经网络可以高效地概括输入的信息。