2018最佳GAN论文回顾(上)( 六 )

x=G(z)=f(r)

关于c类的对象 , 我们想仔细看下参数r 。 我们知道参数r包含关于一个这些特定对象生成的编码信息 。 我们的目标是了解这个信息是如何在内部编码的 。 作者们声称有一种方法可以从参数r中提取这些单元 , 而r负责生成类c的对象 。


这里 , 是特定层中所有单元的集合 , 参数U是目标单元 , 参数P是像素位置 。 问题来了 , 如何进行这种分离?作者们提出了两个步骤 , 这两个步骤是理解GAN黑盒子的工具 。 就是解析和干预 。


一个单元u和一个类c之间的解析测量一致性

解析—我们要识别那些有趣的类 , 它们在r中有一个明确的表示方法 。 这基本上是通过比较两个图像来完成的 。 首先通过计算x获得第一个图像 , 然后通过语义分割网络来运行 。 这将返回与目标类别(例如:树木)相对应的像素位置 。 第二个图像是通过用rup进行上采样 , 因此它与sc(x)的维度相匹配 , 然后再对其进行阈值处理 , 以便对被这个特定单元所“发亮”的像素做出艰难的决定 。 最后 , 我们计算了两个输出之间的空间一致性 。 值越高 , 单元u对类c的因果效应就越大 。 通过对每个单元执行这个操作 , 我们最终应该找出哪些类在r的结构中有一个明确的表示方法 。

推荐阅读