用Attention玩转CV,一文总览自注意力语义分割进展(11)
EM 本身保证收敛到似然函数的局部最大值,因此 EM 算法迭代而出的描述子和映射关系,相对于简单地用网络学习到的,更能保证满足性质1;性质2可以通过设置较小的来满足;而性质3,则可通过良好的描述子迭代初始化来做到。EMANet 的解读见笔者的另一篇文章:期望最大化注意力网络 EMANet 详解。
图13/13
此处,我们可以考虑下 EMANet 和 A2Net 的关联。将公式(4)摘抄下来:
如果我们将其中的和的参数共享,并将和记作。那么,和无异;而就相当于和迭代一次。因此,A2-Block 可以看作 EMAU 的特殊例子,它只迭代一次 EM,且由反向传播来更新。而 EMAU 迭代步,用滑动平均来更新。
在实验中,将 Nonlocal、A2Net 和 EMANet 中的模块在PASCAL VOC上作简单的对比实验。EMANet 仅迭代一次时分数与 Nonlocal 和 A2Net 无显著差异,符合上文对 Nonlocal 和 A2Net 的分析和对比。而 EMANet 在迭代多次时,性能可以有显著的提升。
推荐阅读
- 法术|双城之战:羁绊、海克斯强化、装备一文看懂
- 三国杀|三国杀:天机图——到底有哪些武将能够玩转呢?
- 炉石传说|《炉石传说》佣兵战纪攻略来袭,斗鱼狗贼教你轻松玩转全新模式
- 手机游戏|英雄联盟手游:上大分太难?玩转这4点,秒变峡谷老司机
- 炉石传说|炉石传说:职业选手如何玩转佣兵战纪?速度拉满打出碾压对局
- 地下城与勇士|DNF:快速玩转100级装备体系,回归玩家也能随时成型
- 仙剑奇侠传七|“吃鸡”游戏中单价最高的氪金物品!氪度力压车皮,却一文不值!
- 手办|阴阳师:欧皇无氪入手大舅手办皮肤 教你玩转酒宴酣歌翻牌子活动
- 三国志战略版|三国志战略版:橙将朱儁来袭,看升级版群弓如何玩转三战!
- 地下城与勇士|DNF:DNF超高质量减负,9.14减负改动一文看完