渐进式图像重构网络：像画画一样重构图像( 二 )_选自arXiv作者：ShengYou、NingYou、Mi

近来，在图像到图像（I2I）转化领域，Pix2Pix等可以从稀疏的二值边缘图中合成逼真图像，并根据条件生成对抗网络（cGAN）部署循环框架。这些方法将图像的内容和样式解耦，以便分别提取。但是，在边缘到图像（edge-to-image，E2I）转化领域，示例引导的样式输入无法在输出中准确地重构高保真样式或颜色。

上述限制因素使我们考虑如何解决更稀疏输入和更可控样式空间这两者间的矛盾。本文在一定程度上受到了绘画过程的启发，绘画过程又可以概括为三部分：临摹、初始绘画和微调。绘画界建议有抱负的年轻画家在初学绘画的时候可以通过临摹大师的画作来加强自己的基础技能。在绘画初始的阶段，简单几笔轮廓和背景填充提供了一幅图画基本要素和结构信息。在微调阶段，随着图画颜色层次感的不断提升带来的光影效果，整个画作得以逐步细节化。

与这种绘画过程类似，研究人员提出了一种通用的图像重构方法，以便展示具有二值稀疏边缘和平面颜色域（color domain）的细节图像。二值边缘和颜色域的输入足够稀疏和简单，因而可以提取（图 1（a））、可以手绘（图 1（b））或者可以编辑（图 1（c））。为了提高图像样式的可控性和可解释性，研究人员没有像在 I2I 转化中那样提取隐含的潜在样式向量，而是输入颜色域作为显式的样式特征。具体来说，研究人员构建的基于生成对抗网络的模型也包含三个阶段：模拟阶段、生成阶段和微调阶段，三者分别对应绘画过程的三部分内容。如图 1 所示，在 E2I 转化域内，模型 PI-REC 在稀疏输入的用户自定义样式测试中表现良好。相较于以往的方法，模型 PI-REC 可以生成更准确的、具有颜色风格的内容细节。