用Attention玩转CV，一文总览自注意力语义分割进展( 四 )
图3/13
而 DANet[4]，是把 Nonlocal 操作视为 spatial attention，以此引出了 channel attention ，两路融合。OCNet[5]，则是将 object context (spatial attention) 和卷积强强联合，分别捕捉全局和局部信息，并在多个数据集上取得很高的精度。
Nonlocal 对于每个的计算，都要在全图上进行，因此复杂度为。CCNet[6]将全图计算分解为两步，一步是按行计算，一步是按列计算。类比于将矩阵分解为。因此 CCNet 复杂度为。
图4/13
PKU兄弟实验室的 ISA[18]也是将 attention map 的全图计算分解为两步：第一步长距离attention ，第二步短距离。中间夹着一步 permute 操作。其实类似组卷积- shuffle -组卷积的过程，思路上顺承 IGCV[19]，其复杂度也是。
推荐阅读
- 法术|双城之战：羁绊、海克斯强化、装备一文看懂
- 三国杀|三国杀：天机图——到底有哪些武将能够玩转呢？
- 炉石传说|《炉石传说》佣兵战纪攻略来袭，斗鱼狗贼教你轻松玩转全新模式
- 手机游戏|英雄联盟手游：上大分太难？玩转这4点，秒变峡谷老司机
- 炉石传说|炉石传说：职业选手如何玩转佣兵战纪？速度拉满打出碾压对局
- 地下城与勇士|DNF：快速玩转100级装备体系，回归玩家也能随时成型
- 仙剑奇侠传七|“吃鸡”游戏中单价最高的氪金物品！氪度力压车皮，却一文不值！
- 手办|阴阳师：欧皇无氪入手大舅手办皮肤 教你玩转酒宴酣歌翻牌子活动
- 三国志战略版|三国志战略版：橙将朱儁来袭，看升级版群弓如何玩转三战！
- 地下城与勇士|DNF：DNF超高质量减负，9.14减负改动一文看完