AI|AI生成中国山水画！普林斯顿姑娘本科毕业作品，线条笔触骗过半数人类观察者_AI生成中国山水画！普林斯顿姑

用GAN创作似乎已经不是新鲜事了。2019 ，英伟达在GTC大会上推出了一个人工智能图像生成器“GauGAN” 。用户只需要简单的勾画几条线条轮廓，便会自动生成美丽的风景图片。这款AI使用的技术是生成对抗网络（GAN），也是一种深度学习模型，现在被广泛用于图像生成。

文章图片

包括去年MIT和IBM沃森联合实验室联合发布的AI Portraits Ars ，用户可以在线将自己的照片转变为中世纪的优化风格，这个在线工具一度火爆到网站宕机。

文章图片

你可能会说， “这不就是风格迁移么？”

文章图片

不，团队人员专门强调，这不是风格迁移，这是AI自己创作的，从线条到色调，都和人类画师一样，照着真人的样子自行创作。
但是正如东西方巨大的文化沟壑一样，在艺术和技术结合的领域， AI似乎也更偏向西方，我们看到不少AI生成写实主义、后现代，甚至是抽象主义的作品，但是却很少能看到AI在传统东方艺术上的表现。
终于，一位普林斯顿大学的本科学生Alice Xue将目光投向了中国山水画。
在她的毕业论文中，她开发了一款名为SAPGAN（Sketch-And-Paint GAN)的AI模型，该模型可以生成传统的中国山水画，为此她也获得了普林斯顿2020优秀毕业论文奖。
论文链接：
http://techimg88.easyfang.com/img.php?https://arxiv.org/pdf/2011.05552.pdf
论文提到，在一项242人的图灵视觉测试研究表明， SAPGAN创作出的画作被误认为人类艺术品的频率高达55% ，显著高于基线GAN模型创作的画作。
和人类一样，先画草图后着色
传统中国山水画在绘制过程中，一般有勾、皴、点、染等步骤，顾名思义，就是先勾画出大致轮廓，再进行渲染。

文章图片

文章图片

AIice提出的端到端生成中国山水画无条件输入模型遵循的也是这个步骤。为了实现这一过程， AIice构建了两个模型：
Stage I: SketchGAN Stage II: PaintGAN
SketchGAN从样本图像中采集高分辨率的边缘图，而PaintGAN是根据SketchGAN进行“翻译”创作，从而生成一幅完整的山水画。

文章图片

中国人反而更容易误判
实验的结果也很惊人。
在最后进行测评时， 242名参与者中，模型生成的画有一半以上（55%）被误认为是人类作品。

文章图片

视觉图灵测试的分数分布，要求参与者判断艺术品是由人类还是计算机制作的(平均值= 70.5%)
在“审美愉悦”、“艺术构图”、“清晰”和“创造力”方面， SAPGAN模型在所有艺术类别中的评分始终高于基线。SAPGAN与人类绘画最大的区别是“清晰” 。
让人匪夷所思的是，中国人可能更容易被SAPGAN欺骗。作为母语为汉语的人，多少是见过几幅山水画的，但是在判别一幅山水画是否为SAPGAN所作时，中国人可能更容易被欺骗。
作者比较了母语为汉语和英语的参与者的结果，看看文化接触是否能让中国参与者正确判断这些画。然而，说汉语的参与者平均得分为49.2% ，明显低于说英语的考生的73.5% 。
也就是说，说中文的人70%的时候还会把SAPGAN的画误认为是人，而整体水平是55% 。显然，不管对中国文化的熟悉程度如何，参与者都很难区分绘画的来源。
【AI|AI生成中国山水画！普林斯顿姑娘本科毕业作品，线条笔触骗过半数人类观察者】自己收集两千多张山水画数据， GitHub上公开
文章提出的模型是在一个新的中国传统山水画数据集上训练的，这一数据集不是来自百度或者谷歌，而是由作者本人收集。
AIice表示，目前的山水画数据集存在不唯一性和图像质量和数量不足的问题，为了促进这一领域的发展， Alice本人建立了2192幅高质量中国传统山水画组成的新数据集，这些山水画来自普林斯顿艺术博物馆藏品。
目前，这些有价值的绘画在很大程度上还没有被生成创作研究触及，作者也在GitHub上发布了这一数据集供公众使用。
Alice在接受学校采访时说，普林斯顿大学美术馆有一个令人惊异的开放式数字收藏中国画，这对我的数据集很有价值，但不幸的是，大多数研究人员没有充分利用它。

文章图片

数据集链接

https://github.com/Alice x 2020/Chinese-landscape painting-Dataset
写论文之前从没上过机器学习课，准备去Facebook工作
看到这里，你可能觉得Alice是一位“资深程序员”了。但是她表示， “我写这篇论文的时候从来没有上过机器学习课程，所以我经常被这样一个问题弄得不知所措: 像我这样的新手能为已经存在的创新研究做些什么。但是我发现总是有一个有趣的角度来处理一个问题，因为一个人的兴趣和技能是他们独一无二的。”
在谈到对其他的学生建议时， Alice说，将数字化人文融入你的工作中是自然而然的事。找到你感兴趣的东西——无论是19世纪的文学作品还是爵士乐——总有一种方法可以从中收集数据，用来分析或制作与之相关的技术工具。
谈到自己未来的规划， Alice表示自己准备去Facebook工作，成为一名软件工程师。