用Attention玩转CV,一文总览自注意力语义分割进展(11)

EM 本身保证收敛到似然函数的局部最大值,因此 EM 算法迭代而出的描述子和映射关系,相对于简单地用网络学习到的,更能保证满足性质1;性质2可以通过设置较小的来满足;而性质3,则可通过良好的描述子迭代初始化来做到。EMANet 的解读见笔者的另一篇文章:期望最大化注意力网络 EMANet 详解。

用Attention玩转CV,一文总览自注意力语义分割进展

图13/13

此处,我们可以考虑下 EMANet 和 A2Net 的关联。将公式(4)摘抄下来:

如果我们将其中的和的参数共享,并将和记作。那么,和无异;而就相当于和迭代一次。因此,A2-Block 可以看作 EMAU 的特殊例子,它只迭代一次 EM,且由反向传播来更新。而 EMAU 迭代步,用滑动平均来更新。

在实验中,将 Nonlocal、A2Net 和 EMANet 中的模块在PASCAL VOC上作简单的对比实验。EMANet 仅迭代一次时分数与 Nonlocal 和 A2Net 无显著差异,符合上文对 Nonlocal 和 A2Net 的分析和对比。而 EMANet 在迭代多次时,性能可以有显著的提升。

推荐阅读