10秒搞定建筑日夜景转换,还自带中秋月光( 三 )

在匹配完成后,为了颜色迁移在局部变化和整体上的一致性,NCT 使用了一个线性模型在同时满足局部和整体的约束下进行优化。

输入的图片 S 和 R 共享很多语义上相关的(semantically-related)内容,同时在展示上又有很大的不同。

S 和 R 中都包含建筑,但分别为日景和夜景。要在两张存在很大色差的图片上建立语义的对应是一个非常棘手的问题,尤其是传统的特征提取算法是无法有效的提取出图片的语义信息。

因此使用预训练好的深度学习模型来提取特征成为解决这个问题的有效途径, 这也符合迁移学习(transfer learning)的思想:

“Transfer learning is a research problem in machine learning that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem.”

(West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer")。

推荐阅读