蕾师师 发自 凹非寺
量子位 报道 | 公众号 QbitAI
小明随意地涂鸦了一个头部 ， 再简单地画了个翅膀 ， 加上一个大尾巴……再单击「转换」键 。
一只面目狰狞、皮肤粗糙、纹理细致的大怪兽就创造出来了 。
文章图片
这是Google研究人员制作的AI工具奇美拉画家（Chimera Painter） 。
这是个线上绘画工具 ， 可以将涂鸦变成一个栩栩如生的怪物 。
奇美拉的条件型GAN
研究人员建立了一个生物混合体的概念 ， 就像是一个纸牌游戏 。
比如你拿到一张「鲸」卡 ， 通过组合 ， 可以变成一个「鲸VS大象」的嵌合体怪兽 。
这个组合而成艺术作品 ， 还能保留原始图像的视觉特征 。
文章图片
在此之前生成式对抗网络 （GAN, Generative Adversarial Networks ）被广泛用于图像创作上 。 GAN一般包含两个模块：
生成模型（Generative Model）
判别模型（Discriminative Model）
两个模块互相博弈学习产生相当好的输出 。 一个优秀的GAN应用需要有良好的训练方法 ， 否则可能由于神经网络模型的自由性而导致输出不理想 。
例如 ， 麻省理工学院和IBM合作 ， 开发出了“GAN绘画工作室” 。
允许用户上传自选图像以从多种角度修改其外观 ， 从更改对象的大小到添加全新的物体 ， 例如如树木、窗户、建筑物、桌子……等等 。
文章图片
再有 ， 英伟达（Nvidia）最新的AI软件将粗糙的涂鸦变成真实的风景 。
文章图片
而在奇美拉画家中 ， 与前两者注重照片写实的GAN不一样 ， 他们采用了一种称作条件型GAN的方法 。
这种方法与一般的GAN不一样 ， 一般的GAN是在一系列图片基础上 ， 生成器和判别器相互对抗磨合 ， 形成全新的图 。
奇美拉画家则是需要在生成器中输入一张创作图 ， 在此基础上 ， 再通过GAN生成新图 。
将怪兽肢解建模 ， 再组合渲染
为了训练GAN ， 研究人员创建了10000多个全彩色图像的数据集 ， 包含不同生物的3D模型 。
在这个生物模型的数据库中 ， 不仅描绘了每个生物整体的大小和形状 ， 还提供了肢体、器官、躯干的分割图 。
艺术家就在这些“肢解”模型的基础上 ， 重新组合出新的“生物” 。 可以选择头、牙齿、躯干、翅膀等不同部分进行绘画 。
可以看到左侧有各种肢体部分选项按钮 。
文章图片
然后经过GAN ， 选出组合得最好的模型 ， 将之合并 ， 输出到Chimera Painter中 。
文章图片
得先制作生物纹理
在GAN模型中 ， 在渲染对比度低的图像部分时 ， 会有跳格 ， 使图像失去空间连贯性 。
例如这张图的腿和眼睛的识别界限不清晰 ， 导致输出来的图像奇奇怪怪 。
文章图片
为了解决这个问题 ， 奇美拉画家的研究人员开发了一种新的半自动化方法 。
奇美拉画家对每种所需的生物类型（例如鬣狗或狮子）都会建立一个模型 。
然后 ， 艺术家使用虚幻引擎制作了叠加在3D模型上的彩色纹理 。
文章图片
再将「分割图」的单色（例如头 ， 耳 ， 颈等部分）套用到模型上 ， 确保GAN了解到艺术家指定的的结构 ， 形状 ， 纹理和比例 。
文章图片
再次使用虚幻引擎将3D生物模型放置在简单的3D场景中 。
为了增加数据库的模型数量 ， 一个自动化脚本会主动采用这个3D场景 。 在10000张生物模型的基础上 ， 继续补充 ， 生成了10000+张图像+分割图 。
根据生物的不同姿势 ， 在视点和缩放级别之间进行插值 ， 创建出全色图像和分割图 ， 形成GAN新的训练数据集 。
而每次手动创建这些数据 ， 需要20多分钟 。
谷歌表示 ， 奇美拉画家为艺术家节省了数百万小时的时间 。
参考链接：
https://www.theverge.com/2019/3/19/18272602/ai-art-generation-gan-nvidia-doodle-landscapes
https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
https://storage.googleapis.com/chimera-painter/index.html
https://www.ithome.com/0/433/709.htm
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 ， 未经账号授权 ， 禁止随意转载 。
_原题《谷歌上线AI新玩法：随手乱涂鸦 ， 一键变怪兽》
【怪兽|谷歌上线AI新玩法：随手乱涂鸦，一键变怪兽】阅读原文
推荐阅读
- Google|谷歌暂缓2021年12月更新推送 调查Pixel 6遇到的掉线断连问题
- IT|95306铁路货运电子商务平台升级上线 可24小时办理货运业务
- 上海|上海供水热线与城投水务官网合并上线，一站式服务更便民
- 问答|紧追B站加码知识类内容，抖音上线“学习频道”
- Tesla|马斯克也要效仿谷歌Facebook 为特斯拉设立控股母公司？
- 吴祖榕|上线 2 周年，用户数破 2 亿，腾讯会议和我们聊了聊背后的产品法则
- 硬件|上线两年用户破两亿，腾讯会议还能做什么？
- 词条|百度百科上线2500万词条，超750万用户参与共创科普知识内容
- 国际|第23届高交会线上线下共享科技盛宴
- IT|新能源车专属保险上线，保费却贵了？业内人士回应