如何提取网络架构的先验知识？为它画幅素描吧！( 六 )_：如何提取网络架构的先验知识？为它画

上图是一个形象的「速写」间相似性的二维示意图。每个向量都表示了一个「速写」，相关的「速写」更倾向于聚集在一起。

「速写」机制

我们提出的「速写」机制可以应用在预训练好的模块化网络上。这种机制为网络的运算提供了一个顶层「速写」式的概括，同时满足了上面提到的那些性质。为了理解这种机制的工作方式，我们不妨考虑一个单层的网络。在这种情况下，我们保证某个特定结点预训练得到的所有信息可以被封装到两个不同的子空间去，其中一个对应着结点本身，另一个对应着和该节点相关的模块。通过恰当的投影，第一个子空间可以恢复该节点的属性，而第二个子空间可以快速地估计概要统计量。两个子空间强化了上面提到的「速写」间的相似性特性。我们说明了，只要涉及到的这些子空间是独立随机选取的，那么上述特性一定成立。

当然，如果想要将这种思想扩展到多于一层的网络上，还需要考虑更多的问题——这就引出了我们的「递归速写」（recursive sketching）机制。由于网络的递归性质，这些「速写」可以被「展开」，从而识别子组件，掌握更加复杂的网络结构。最后，我们使用针对该问题特别设计的字典学习（dictionary learning）算法来证明：只要有足够多的（输入，「速写」）对，那么我们就可以恢复出组成「速写」机制的随机选取的子空间和网络结构。