（2）该研究提供了丰富的的自然语言描述 ， 包括每张图片各个语义特征的高细粒度自然语言说明 (image captions) ， 以及一句图片编辑的用户要求（user request） 。
CelebA-Dialog 可以为多种任务提供监督 ， 例如高细粒度人脸特征识别 ， 基于自然语言的人脸生成和编辑等 。
在 Talk-to-Edit 这个工作中 ， 该研究利用 CelebA-Dialog 的高细粒度特征标注训练了一个高细粒度到人脸特征预测器 ， 从而为 Semantic Field 的训练提供高细粒度的监督 。
总结
(1)该研究提出了一个基于对话的、高细粒度的人脸编辑系统: Talk-to-Edit 。
(2)该研究提出了 Semantic Field ， 即在 GAN 隐空间中学习一个语义场 ， 通过在隐空间中沿着场线「行走」 ， 从而实现连续且细粒的人脸特征编辑 。
(3)该研究为研究社区贡献了一个大规模的数据集 CelebA-Dialog 。 并相信它可以很好地帮助到未来高细粒度人脸编辑的任务以及自然语言驱动的视觉任务 。
Talk-to-Edit 更多优秀表现：
文章图片
文章图片
文章图片
参考文献：
[1] Tero Karras, Samuli Laine, and Timo Aila. A style-based generator architecture for generative adversarial networks. In CVPR, pages 4401–4410, 2019. 1, 2
[2] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. In CVPR, pages 8110–8119, 2020. 1, 2
[3] Yujun Shen, Ceyuan Yang, Xiaoou Tang, and Bolei Zhou. Interfacegan: Interpreting the disentangled face representation learned by gans. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020. 2, 4, 6
[4] Yujun Shen, Jinjin Gu, Xiaoou Tang, and Bolei Zhou. Interpreting the latent space of gans for semantic face editing. In CVPR, pages 9243–9252, 2020. 2, 4, 15
[5] Yujun Shen and Bolei Zhou. Closed-form factorization of latent semantics in gans. arXiv preprint arXiv:2007.06600, 2020. 2
[6] Erik Ha ?rko ?nen, Aaron Hertzmann, Jaakko Lehtinen, and Sylvain Paris. Ganspace: Discovering interpretable gan ctrols. arXiv preprint arXiv:2004.02546, 2020. 2
[7] Andrey Voynov and Artem Babenko. Unsupervised discovery of interpretable directions in the gan latent space. In ICML, pages 9786–9796. PMLR, 2020. 2
[8] Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Deep learning face attributes in the wild. In ICCV, pages 3730–3738, 2015. 3, 6, 14, 15, 16
推荐阅读
- 贷款|“扫码中大奖”？谁知领奖被“贷款”！
- AI|像谷歌地球一样用卫星图片重建洛杉矶3D模型 港中大团队提出CityNeRF
- 事业|哈尔滨理工大学大型话剧《永“珩”不灭的光》首次演出
- 张德强|聚焦OLED与Micro-LED两大主线 维信诺计划拓展笔电、车载等中大尺寸应用
- IT|理想ONE问鼎11月中国中大型SUV销量榜首 创始人李想：继续努力
- |上海理工大学实验室上演“未来乒乓球大战”
- IT|对标理想ONE：小鹏全新中大型SUV预告图发布，或取名G9
- 国际|西安理工大学荣获国家科技进步二等奖
- 国家|喜报！西安理工大学荣获国家科技进步二等奖
- 最新消息|产研联动：AWS和加州理工大学合作探索量子领域