用Attention玩转CV，一文总览自注意力语义分割进展( 八 )

2019-08-26

GloRe and so on

在 A2Net 基础上，Yunpeng Chen 继续做出了 GloRe[12]。相比于 A2Net，GloRe 在映射 () 和反映射 () 之间插入了一步 GCN 的操作，使的描述子矩阵内部交互和更新。GCN 的具体实现是两步卷积。此外，作者发现和其实可以共享，即下图中的B，结论和上文中本人所言 query 和 key 共享一致。

图10/13

其实，和 GloRe 同一时期的相关工作还有 SGR[10], Beyonds Grids[11]和 LatenGNN[13]。它们都采取三步走的策略，即映射、GCN 和反映射。他们的区别在于每一步的具体操作。

图11/13

四篇文章在 GCN 步骤各有设计。不过，目前为止，没有看到任何公开的 ablation study 证明第二步 GCN 有效果，自己复现的部分实验，也没有跑出 GCN 有增益的结果。所以，只能暂且认为关键还是在于映射和反映射。

推荐阅读

上一篇：完全图解GPT-2：看完这篇就够了（二）

下一篇：国家大品牌AI系统启动运行