即插即用新卷积：提升CNN性能、速度翻倍( 二 )_选自arXiv作者：YunpengChen等机器之心

图2/17

图 2. AlexNet 的第一层卷积核

与此同时，CNN 所学习到的卷积核，也并非全是高频卷积核，如图 2 所示。这意味着，一部分卷积专注于提取「低频特征」，而另一部分则专注于提取「高频特征」。对于低频卷积所对应的特征图而言，我们也许只需要保留它的低频信号即可，没必要存储在高分辨率下的特征图。

图3/17

图 3. 本文的：(a) 主要动机; (b,c) 新的特征表达方式；(d) OctConv

如图 3 所示，本文提出将特征图分为两组：低频特征（蓝色）和高频特征（橙红），并将空间上变化较为缓慢的「低频特征图」存储在低分辨率的张量中，共享相邻位置间的特征。而本文所提出的 OctConv 则是一种可以直接作用在该特征表达下的卷积操作。它包含每个频率自身状态的更新（绿色箭头），以及频率间的信息交互（红色箭头）。