团队|动手画个二次元老婆，上科大团队这个APP刚上线就火出圈，网友：我学废了_相关研究|二次元|老婆|上线|人

机器之心报道
编辑：蛋酱、小舟

AI 虽然能帮你完成大多数工作，但作画也是需要一定技巧的。或者说它可以让你的所有想法暴露在光天化日之下。

想给自己画个二次元老婆，但发现自己是个手残，怎么办？
【团队|动手画个二次元老婆，上科大团队这个APP刚上线就火出圈，网友：我学废了】问题不大，这里有个神器，你只需要涂抹出轮廓，剩下的交给 AI：

文章图片

二次元老婆生成器的名字叫做「WAND」，现在已经在苹果应用商店上线了，目前提供 iPhone 和 iPad 两类设备的限时免费下载，登上了AppStore图形与设计榜下载量Top1 。
「WAND」刚发布就火出了圈，在社交网络上看，很多人已经率先试用了，作品是这样的：

文章图片

画出了各种漂亮的小姐姐：

文章图片

文章图片

嗯，三次元也可以的，还可以这样操作：

文章图片

虽然但是，一部分手残党的失败案例，也会让自己 SAN 值狂掉：

文章图片

文章图片

编辑部实测
基于「不试试怎么知道」的想法，编辑部也下载了一个 WAND ，并翻出了手机相册里珍藏多年的二次元老婆照片。
WAND 提供的功能很丰富，你可以直接上传一张二次元头像，然后生成其他风格版本的「老婆」。这里我们上传的是无人不爱的辉夜大小姐：

文章图片

可见 AI 还贴心地帮你解决了发际线的问题。
还可以在画板上对人像进行调整，改造一番。此处手残党要高度警惕，不要搞出一些惊悚创作，破坏「老婆」的形象。

文章图片

如果是线稿，导入后也会自动上色，切换风格还能得到多个版本：

文章图片

即使你对现在的二次元老婆们都不满意（过分），也可以从零开始，亲手捏一个出来，只不过，二次元老婆的上限将完全取决于你的艺术造诣。
多少憨憨心碎于此：

文章图片

而且，这个 App 还埋了一个功能：「真人模式」。一旦选择「Realistic」，再来张自拍，你或许会陷入深深的思（jue）考（xing）之中……

文章图片

最终，用户们悟到了这个 App 的真谛：

文章图片

其实，使用的时候也有一些小技巧。比如作者表示，在上传照片时，尽量只让人脸在整个框内，识别和生成的效果会更好。
吸收各方反馈， WAND 后续可以做一些改进：

文章图片

还有很多人问， Android 版什么时候有呀？

文章图片

机器之心帮忙向开发团队询问了一下，作者表示：「已经新建文件夹了。」相信用不了太久， Android 用户就可以在自己的手机上亲手画二次元老婆了，同时「老公版」的WAND 也正在制作中。
据了解，「WAND」背后的开发团队影眸科技孵化于上海科技大学，团队聚焦于前沿人工智能、计算机视觉技术在影视制作、大众娱乐市场的推广应用，近期也有相关研究入选 ICCV 2021 等顶会。
SofGAN
看完了 APP 效果，我们来看下背后的技术。据项目介绍，该软件基于上海科技大学 ACM Transactions on Graphics 2021 的一篇研究论文实现。

文章图片

论文地址：https://arxiv.org/pdf/2007.03780.pdf
项目主页：https://apchenstu.github.io/sofgan/

尽管生成对抗网络（GAN）已被广泛用于人像图像生成，但在 GAN 学习的潜在空间中，不同的属性，如姿态、形状和纹理风格，通常是纠缠在一起的，这使得对特定属性的显式控制变得困难。为了解决这个问题，该研究提出了一个名为 SofGAN 的图像生成器，将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支，一个生成具有规范姿态的人像的 3D 几何图形，另一个生成纹理。对齐的 3D 几何图形还带有语义部分分割，编码为语义占用字段（semantic occupancy field ， SOF）。 SOF 能够在任意视图渲染一致的 2D 语义分割图，然后将其与生成的纹理图融合并使用语义 instance-wise（SIW）模块将其风格化为人像图像。该研究通过大量实验表明该系统可以生成具有独立可控几何和纹理属性的高质量人像图像。此外，该方法还可以很好地推广到各种应用中，例如外观一致的面部动画生成等。
在 StyleGAN 中，基于不同级别的输入潜在向量，图像的风格在每个卷积层上通过特征来控制。这种控制机制虽然有效，但并没有提供对单个属性的独立控制，很大程度上是由于各种属性的纠缠。为了解决这个问题，该研究将生成空间分解为两个子空间：几何空间和纹理空间，如下图 3 左所示。

文章图片

该研究提出的生成 pipeline 概览。
几何空间中的每个样本都可以被解码为 SOF 网络的权重，该网络表征了带有伴随语义标签的 3D 连续占用字段 (SOF) 。在渲染阶段，给定任意查询视点，该方法将使用光线移动框架将 SOF 映射为 2D 分割图。 SOF 的使用确保了视图的一致性。接下来该研究遵循语义图像合成框架提出了一个基于语义的 instance-wise 的生成模块，来生成逼真的图像。
几何建模
相比于先前已有的方法，该研究提出了一个更稳定的光线移动器，用于根据当前位置特征和光线方向预测步长，如下图 4 所示。