学界 | 新的快速图像转手绘方法,人类水准、户外场景( 二 )

学界 | 新的快速图像转手绘方法,人类水准、户外场景

不同写实程度的简笔画风格

学界 | 新的快速图像转手绘方法,人类水准、户外场景

不同边缘检测方法之间的对比

近期的一篇新论文《Photo-Sketching: Inferring Contour Drawings from Images》(照片速写:从图像生成轮廓绘画,arxiv.org/abs/1901.00542)就在这个问题上迈出了自己的一步。一作是 CMU 的中国留学生 Mengtian Li,他本科在南京大学匡亚明学院;别的作者来自 Adobe 研究院、Uber 以及 Argo AI。

作者们的方法并不意外,收集一个新的手绘数据集(真人进行的照片手绘),然后训练神经网络。不过与类似研究有所不同的是,作者们收集的是一个一对多的数据集,每张照片可以对应多个真人手绘 ground truth 图像。所以作者们认为这不应当是在传统的「优化调节边缘检测器」路线上继续发展,同时直接使用各类现成的 cGAN 也无法带来理想的表现。作者们提出了一种新的、可以处理多种不同的稀疏输入的 cGAN 来进行处理。作者们与其它方法进行了定性以及定量的对比。

推荐阅读