美人秀色空绝世,我用PS-GAN试伊妆( 八 )

为了进一步证明 PSGAN 能有效处理姿态和表情差异,研究者从 MT 数据集选取了具有不同姿态和表情的图像构建一个 MT-wild 测试集。当然,模型使用的训练集不包含 MT-wild 测试集的图像。

对照实验

图 3 展示了 AMM 模块的有效性。

美人秀色空绝世,我用PS-GAN试伊妆

图5/10

图 3:没有 AMM 模块时,由于源图像与参照图像之间的姿势和表情差异,妆容迁移结果很差(第三列)

图 4 表明,仅考虑相对位置不足以实现良好的妆容矩阵变形。如果仅考虑相对位置,那么中间的注意图就类似于一个 2D 高斯分布。

美人秀色空绝世,我用PS-GAN试伊妆

图6/10

图 4:给定皮肤上的一个红点,给出了不用视觉特征以及使用视觉特征时对应的注意图。不使用视觉特征时,注意图无法避开鼻孔(第一行第二列),并错误地穿过了面部边界(第二行第二列)。

推荐阅读