2018最佳GAN论文回顾(上)(11)

综上所述 , 虽然显式的噪声输入可以被视为在合成网络中生成过程的“种子” , 但从W抽取的潜在代码试图向图像添加某种样式 。

结果:

作者们从2017年的Progressive GAN开始重新审视NVIDIA的架构 。 虽然他们掌握了大部分的架构和超参数 , 但是生成器正在根据新的设计进行“升级” 。 论文内容最令人印象深刻的特点是样式的混合 。


上图是可视化样式混合的效果 。 通过让一个潜在的代码(来源)生成一个图像 , 我们可以覆盖另一个图像(目标)的特征子集 。 这里 , 我们覆盖对应于粗糙空间分辨率(低分辨率特征图)的层 。 这样我们就可以影响目标图像的高级特征了 。

这种新奇的生成器结构使其有能力在合成网络的不同层向同一图像添加不同的样式 。 在训练过程中 , 我们通过映射网络运行两个潜在代码z1和z2 , 并接收相应的w1和w2两个向量 。 完全由z1生成的图像被称为目标 。 这是一个生成的高分辨率图像 , 几乎与实际的分布区区分不出来 。 仅通过添加z2而生成的图像被称为来源 。 现在 , 在使用z1生成目标图像的过程中 , 在某些层 , 我们可以添加z2的代码了 。 此操作将用那些来源来覆盖目标中存在的样式子集 。 来源对目标的影响是由层的位置来控制的 , 这些层正被来源的潜在代码进行“培育” 。 与特定层对应的分辨率越低 , 来源对目标的影响越大 。 这样 , 我们就可以决定要在多大程度上影响目标图像:

推荐阅读