渐进式图像重构网络:像画画一样重构图像

选自arXiv

作者:Sheng You、Ning You、Minxue Pan

机器之心编辑部

绘画的时候,我们一般会先勾勒出轮廓,然后再一步步细化、上色,最终完成画作。图像生成是否也可以遵循这个步骤呢?研究人员受此启发,构建了渐进式图像重构网络。该网络仅根据稀疏边缘和颜色域,按照模拟、重构、微调三个阶段生成了详细的逼真图像。

渐进式图像重构网络:像画画一样重构图像

Demo 演示动图

引言

图像重构(IR)对物理与生命科学领域的图像应用软件来说至关重要,其目的在于根据 ground truth 图像抽取出的的各类信息对图像进行重构。

一般而言,一幅图像由内容和样式组成。提取自图像或者手工绘制的草图是草图-图像(sketch-to-image,S2I)合成领域的常见内容。但是,包含线条粗细和边缘强度(boundary intensity)等密集详细信息的草图很难编辑或绘制。具有梯度的二值等值线图也可以表示图像,但仅限于图像编辑领域。简而言之,上述方法所提取的内容并不足够稀疏,也不便于控制。

推荐阅读