如何提取网络架构的先验知识？为它画幅素描吧！( 五 )

2019-09-23

「速写」的要求

为了针对这些模块化网络优化我们的方法，我们明确定义了几个网络「速写」应该满足的性质：

「速写」间的相似性：两个不相关的网络操作（无论从模块本身还是向量属性来说）的「速写」应当是非常不同的；同理，两个相似网络计算的「速写」应该很相像近。

属性恢复：属性向量（即图中任何结点的激活函数值），都可以根据顶层「速写」大致恢复。

概要统计量：如果有多个相似的物体，我们可以恢复出这些物体的概要统计量。比如，如果一张图像中有多只猫，那么我们可以数出有多少只。请注意，这些问题在训练中是不会出现的。

可擦除性：擦除顶层「速写」的后缀仍可以保留以上特性（但会稍微增大误差）。

网络恢复：给定足够多的（输入，「速写」）对，可以粗略地会付出网络边的连接方式以及「速写」函数。

推荐阅读

上一篇：和逸云让思念不再等待让亲情触手可及

下一篇：终结苹果、安卓操作时代中国智能网联汽车要研发自主的操作系统