萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
使用GAN生成的2D人脸模型很美丽 ， 然而却终究缺了点什么？
文章图片
没错 ， 虽然GAN能生成逼真的人脸 ， 但距离自己理想的人脸 ， 总有那么一点不完美——面部表情、脸上皱纹、发质……
由于GAN没办法进行参数调控 ， 即使人脸再逼真 ， 也没办法控制五官等细节 。
现在 ， 一个新模型GIF （Generative Interpretable Faces）的出现打破了这一定律：
不仅能用GAN生成逼真的人脸 ， 而且还能通过具体的参数控制它 。
文章图片
这是怎么做到的？
用3D模型的参数 ， 控制2D照片
目前的3D和2D人脸生成模型 ， 在真实性和参数可控这两方面 ， 有着很大的差异 。
3D人脸的参数可以分为几种：脸型变化、姿势差异、表情变化 。
文章图片
然而 ， 目前生成的3D人脸模型普遍存在一个问题：与真实的人脸相差甚远 。
因为无论是头发、眼睛、肤质（皱纹）或者口腔（牙齿、舌头） ， 目前的3D人脸模型都难以进行真实的模拟 。
文章图片
与之相反的是 ， 2D人脸生成模型（如目前很火的StyleGAN、StyleGAN2等）虽然能实现照片级模拟 ， 但却没办法独立更改如面部外观、形状或表情等参数 。
文章图片
那么 ， 有没有办法将这两类人脸模型的优势结合起来 ， 利用3D模型的参数控制 ， 生成可以控制具体环节的2D照片呢？
抱着这样的想法 ， 研究者们将2D人脸生成模型StyleGAN2 ， 与一个名为FLAME的3D人脸生成模型进行了结合 ， 如下图所示 。
文章图片
原本在StyleGAN2中 ， 会插入一部分随机噪音 ， 用于调节局部纹理的变化 ， 现在则是将FLAME模型生成的纹理和常规渲染当做这个噪声 ， 输入StyleGAN2中 ， 以对生成的图像产生直接影响 。
在这其中 ， 生成的图像会被投影到3D人脸生成模型的网格（mesh）上 ， 获得一个不完整的纹理图 ， 也就是所谓的“纹理窃取”（texture stealing） 。
从下图可见 ， “纹理窃取”看起来就像是把人脸分成了几部分 ， 强行进行了拼凑 。
文章图片
事实上 ， 这是用3D模型 ， 来对人脸进行参数控制的重要步骤 。 在进行像素对齐后 ， 模型参数与生成图像之间的像素局部关联就能变得明确 。
也就是说 ， 这一生成模型不仅能利用GAN的特性 ， 生成逼真的人脸图像 ， 还能根据3D模型给出的参数 ， 进行人脸细节的调控 。
文章图片
那么 ， 这一模型的效果具体如何呢？
各种细节都能变
从控制情况来看 ， 参数对人脸模型的控制还是不错的 。
下图是改变参数对人脸造成的影响 。
与第一行相比 ， 第二行改变了发型 ， 第三行主要改变了个人身份 ， 第四行改变了五官参数 ， 第五行改变了姿势 ， 第六行改变了外观 ， 第七行则是对肤色和光照角度的改变 。
文章图片
可以看出 ， 参数对于人脸的控制还是比较明显的 。
如果想不好要生成什么样的人脸 ， 也可以用随机采样的模式 。
从下图可以看出 ， 从年龄、肤色、表情、姿势等来看 ， 模型也保留了GAN的效果 ， 生成的人脸图像也具有非常大的差异性 ， 但无一例外都比较逼真 。
文章图片
当然 ， GAN该有的那些玩法 ， 这个模型也有 ， 不仅能生成口对口动画 ， 还能与语音相结合生成演讲模型 。
文章图片
具体到图像质量 ， GIF的FID得分也非常不错（数值越低越好） 。
文章图片
相比于动画捏脸模型 ， 这个GAN版捏脸模型 ， 可以说是非常逼真了 。
作者介绍
一作Partha Ghosh ， 来自马普所 ， 研究领域涉及计算机视觉、计算机图形学和机器学习的交叉学科 ， 教计算机如何看待和理解人类行为 。
二作Pravir Singh Gupta ， 来自德州农工大学 ， 目前是一名博士生 。 共同二作Roy Uziel ， 来自内盖夫本-古里安大学 ， 目前在马普所实习 。
此外 ， 作者还有Anurag Ranjan、Michael Black和Timo Bolkart ， 他们都来自马普所 。
目前代码已经开源 ， 动动手指 ， 捏出你理想中的人脸模型吧~
代码地址：
https://github.com/ParthaEth/GIF
论文地址：
https://arxiv.org/abs/2009.00149
— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 ， 未经账号授权 ， 禁止随意转载 。
_原题《基于GAN的“真人捏脸”已上线 ， 照片逼真无死角：脸型、五官、表情等均可控制》
【上线|基于GAN的“真人捏脸”已上线，照片逼真无死角】阅读原文
推荐阅读
- IT|95306铁路货运电子商务平台升级上线 可24小时办理货运业务
- 上海|上海供水热线与城投水务官网合并上线，一站式服务更便民
- 问答|紧追B站加码知识类内容，抖音上线“学习频道”
- 吴祖榕|上线 2 周年，用户数破 2 亿，腾讯会议和我们聊了聊背后的产品法则
- 硬件|上线两年用户破两亿，腾讯会议还能做什么？
- 词条|百度百科上线2500万词条，超750万用户参与共创科普知识内容
- 国际|第23届高交会线上线下共享科技盛宴
- IT|新能源车专属保险上线，保费却贵了？业内人士回应
- Xiaomi|小米公布小米12基于Android 12的全系内核源码
- 画质|AMD RSR 分辨率缩放技术曝光：基于 FSR，无需游戏适配即可使用