用Attention玩转CV，一文总览自注意力语义分割进展( 六 )

2019-08-26

图7/13

MMLab 的 CARAFE[22]，用来进行特征上采样。其计算方式也是用窗口内像素特征的特征加权平均。其特殊之处在于，用于加权的权重是学习出来的，通过对特征变换、pixelshuffle上采样和通道归一化得到。

图8/13

其实关于选择 global 还是 local 的问题，NLP 领域已经有好多研究，详见苏剑林的博文《为节约而生：从标准Attention到稀疏Attention》。两个领域的研究，其实都在做类似的事情。

注释：本节所提及文章各有其出发点和独到之处，这里仅简单统一到一个框架下，并总结共通点。具体分析未免有缺失和差池，各文章精妙之处，还需参考其他博文。

A2Net and CGNL

NUS 的 A2Net[8]和百度的 CGNL[9]另辟蹊径，从另一个角度优化了 Nonlocal 的复杂度。

推荐阅读

上一篇：完全图解GPT-2：看完这篇就够了（二）

下一篇：国家大品牌AI系统启动运行