2D照片秒变3D，Adobe新方法让你只用一张图像轻松做特效( 三 )_选自arXiv作者：SIMONNIKLAUS等机器之

图5/13

该框架首先利用景深预测流程，估计适合视图合成任务的景深。为了解决现有景深估计方法的局限性，如几何失真、语义失真和不准确的景深边界，研究者开发了一种语义感知神经网络用于景深预测，辅以基于分割的景深调整流程，并使用精炼神经网络提升目标边界的景深预测准确率。

该框架根据景深估计，将输入图像映射至点云，并从对应的摄像机位置渲染点云，从而合成最终的视频帧。为了解决空洞问题（disocclusion）同时保证合成结果具备时间和几何连贯性，研究者利用上下文感知的颜色修复和景深修复技术，填充摄像机路径极端视图中的丢失信息，从而扩展点云的场景几何（scene geometry）。研究者对大量图像内容进行实验后发现，该方法可以实现逼真的合成结果。该研究表明，相比已有的 3D Ken Burns 特效生成方法，这一系统不费吹灰之力即可实现更好的合成结果，。

研究贡献

这篇论文主要介绍如何基于单张图像，自动合成 3D Ken Burns 特效。研究者纳入了简单的用户指定摄像机路径（可选），以期望开始视图和结束视图进行参数化，保证用户对合成特效的控制。