10秒搞定建筑日夜景转换,还自带中秋月光( 六 )

10秒搞定建筑日夜景转换,还自带中秋月光

图8/13

by 未来建筑实验室

如何做到更细节化的表现效果?

前面也提到,VGG19 是一个泛用模型, 在某些情况下难以提取有效的语义信息,对于细部还原还有待提升。于是,针对 NCT 我们进行了两方面的改进:1. 特征标准化;2. 增加特征维度。

1. 特征归一化(normalization)

图片 S 对应的特征图FLS形状为(高, 宽, 通道),某种意义上,FLS的每个通道代表图片 S 的某一个特征。经过实际对比后发现,在每一个通道上像素值的变化范围出现巨大差异,例如有的通道像素点取值范围在 [-500, +100],有的只在 [-1, +1] 之间。

这可能会导致的情况:特征图FLS的某一通道提取出一种很重要的语义信息,但由于其变化范围过小,从而在 PatchMatch 过程中对结果的影响很小,导致并未在原图 S 和 R 上建立有效映射。

推荐阅读