Painter|谷歌完成Chimera Painter开发, 批量“怪物史莱克”一步生成！_开发|The|生物|训练|图像|图像

From: The Verge；编译: Shelly
如果一副艺术品等于美术的灵感和时间的沉淀，那么谷歌的机器学习正在打破时间桎梏和艺术桎梏。
经 Chimera Painter训练后的生成对抗网络GAN允许艺术家利用模型快速探索并创建大量图像，而不必从头开始绘制数十种相似的生物。
研究人员在10,000多个样本怪兽的数据库中训练了Chimera Painter机器学习模型，最后随手画草图就能渲染生成令人印象深刻的噩梦怪兽！
引用Google首席执行官Sundar Pichai的话说：人工智能将以比火和电更深刻的方式直击心灵。
为了证明这一主张，我们来看一看Google研究人员制作的新AI工具，它可以将潦草的涂鸦变成逼真的怪物。还有什么比这更深刻的呢？

文章图片

无论如何，谷歌的新AI Chimera Painter很有趣，它使用机器学习，可以把随手画的粗略草图生成图像，而这种动态性在机器学习中正变得越来越普遍。麻省理工和IBM通过Nvidia来生成风景，用建筑物做到了这一点。
而现在， Google正在用……用“怪兽”来实现这种动态性。
Chimera Painter研发团队在一篇博客中解释了他们的方法和创作动机，他们想创建的Painter不是一个工具，而更像一位助手。该团队声称， Chimera Painter只是一个原型，但是如果Chimera Painter这样的软件变得普遍，它完全可能帮助节省制作高质量艺术品所需的时间。
【Painter|谷歌完成Chimera Painter开发, 批量“怪物史莱克”一步生成！】研究人员给自己创造了一个制作虚构纸牌游戏的挑战，在游戏中，玩家将来自不同怪物的特征融合在一起，并像变异神奇宝贝一样与它们战斗。他们在10,000多个怪兽样本的数据库中训练了机器学习模型，这些怪兽本身部分是使用了虚幻引擎中负责渲染3D模型生成的，每个图像都有自己的“分割图”——不同的图层对应怪物的爪、口鼻和腿等部位。
一旦模型完成了训练，用户就可以绘制自己的分割图，然后模型会使用美术效果对其进行渲染。如果加载了Chimera Painter ，我们会看到一些预设的怪物，它们的表现力令人印象深刻。
不过，自己绘画会比想象中花费更多的时间和精力，例如，这是某个玩家自己画的——看起来像是用泥土捏的咕噜牛，它看起来是怪异的，但能不能被称作噩梦怪物还让人有些犹豫。

文章图片
不过渲染出的效果好像还是挺好哒！
模型的原型：
纸牌游戏与成千上万种组合可能
为了开发ML模型生成用于游戏的生物图像，研究员创建了一个数字纸牌游戏原型，将生物组合成新的可相互战斗的混合体。在该游戏中，玩家将以现实世界中的动物卡 (例如，蝾螈或鲸) 开始，将它们组合生成可怕的“蝾螈鲸”来增强它们的威力！
想象一下：一款游戏中上百种动物的每一个部位都可以重新拿去排列组合生成新的“噩梦怪物” ，那么这个组合数量将远远超过人脑能给出的奇思妙想！
由于目标是在艺术家的指导下创建高质量的生物卡片图像，因此Chimera Painter结合了生成对抗网络 (GAN) 和艺术家的反馈，创建出了适合卡片游戏原型的怪物图像。
GAN将两个卷积神经网络 (CNN) 相互配对：一个用于生成新图像的生成器网络和一个用于确定这些图像是否来自训练数据集 (指由艺术家创建的图像) 的鉴别器网络。这里研究员使用的变体是条件式生成对抗网络GAN ，其中生成器采用单独的输入来指导图像生成。
经过训练后，模型的任务是根据艺术家提供的轮廓生成多物种的嵌合体，然后将性能最好的模型合并到Chimera Painter中。下图显示了使用模型生成的一些示例，包括单物种怪物以及更复杂的多物种嵌合体。

文章图片
基础生物 (下排) 和多个生物的嵌合体 (上排：包括鹿角豪猪、蝾螈鲸和蟹蛾)
3D生物模型训练数据集：
让机器更“真实”地学习
使用GAN生成的一个问题是，渲染图像的细微部分或低对比度时，可能会面临部分结构性丢失。参阅下图的BoggleDog ，结构性缺失的部分就包括眼睛、手指和身体重叠部位等。

文章图片
GAN生成的残缺图像
生成嵌合体需要一个新的非摄影风格的数据集，该数据集必须具有独特的特征，例如戏剧性的视角、构图和照明，所以由于各种限制、样式冲突和缺少的多样性，现有的插图存储库不适合用作训练ML模型的数据集。
为了解决这个问题， Chimera Painter开发了一种新艺术家主导的半自动化方法从3D生物模型创建ML训练数据集。这使研究员能够批量工作并根据需要快速迭代。
在此过程中，艺术家在创建或获取一组3D生物模型的时候，每种所需的生物类型 (例如鬣狗或狮子) 都会建立一个模型。然后，艺术家制作了两组效果，并使用虚幻引擎将其叠加在3D模型上：一组具有全彩色效果 (如左图) ，另一组每个身体部位呈不同单色/分割图效果，例如头、耳朵和脖子等 (如右图)。

文章图片
数据集训练图像及其配对分割图
总的来说， Chimera Painter带给我们的是绝对惊喜。艺术家可以选择从一个点开始调整动物的形状、类型或位置，从而快速探索并创建大量图像。 Chimera Painter还允许上传来自外部程序，例如Photoshop中创建的生物轮廓。
回头再看这个问题：使用机器学习作为画笔时，可以创建什么？Chimera Painter给出了不错的答案。
re：
https://www.theverge.com/tldr/2020/11/18/21572884/google-ai-tool-gan-chimera-painter-machine-learning-monsters
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

Painter|谷歌完成Chimera Painter开发, 批量“怪物史莱克”一步生成！

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)