2D照片秒变3D,Adobe新方法让你只用一张图像轻松做特效( 五 )

3D Ken Burns 特效合成

该框架包含两个主要组件:景深估计流程(见图 3)和新型视图合成流程(见图 7)。

语义感知景深估计

2D照片秒变3D,Adobe新方法让你只用一张图像轻松做特效

图6/13

图 3:该研究提出的景深估计流程图示。给出一张高分辨率图像,研究者首先基于低分辨率输入图像估计粗糙景深。

要想合成 3D Ken Burns 特效,该方法首先需要估计输入图像的景深。研究者将景深估计分为 3 个步骤:

利用低分辨率图像估计粗糙景深,同时依靠 VGG-19 提取的语义信息提升泛化性。

根据 Mask R-CNN 的实例级分割结果调整景深图,确保显著目标内的景深值连贯。

精炼输入图像指引的景深边界,同时对低分辨率景深估计进行上采样。

推荐阅读