如何提取网络架构的先验知识？为它画幅素描吧！( 二 )_：如何提取网络架构的先验知识？为它画

论文地址：http://www.math.tau.ac.il/~nogaa/PDFS/amsz4.pdf

举个例子，假设你进入了一个房间，大略地扫了一眼里面的物体。如果你要求现代机器学习算法回答一些它在训练时见过的问题，它可以立刻给出很好的答案：「这里有猫吗？如果有，它多大？」现在，假设我们在一年中每一天都会看一遍这个房间，人类可以回想起他们在这段时间观察房间的情景：「房间里有出现一只猫的频率如何？我们通常是在早上还是晚上看这个房间？」那么，我们是否可以设计一类系统，它们能高效地回答这类基于记忆的问题呢（即使它们在训练中没有出现过）？

在 ICML2019 上发表的文章「Recursive Sketches for Modular Deep Learning（https://arxiv.org/abs/1905.12730）中，我们探索了如何简洁地概括机器学习模型理解输入的方式。对于一个现有的（训练好的）机器学习模型，我们用其计算的「速写」增强它，并用这些「速写」来高效地回答基于记忆的问题——比如计算图像间的相似度，并总结一些统计数据（尽管事实上相比于将完整的原始计算过程存储下来，这些「速写」占用的内存要少得多）。

基础「速写」算法