VR|假3D场景超1亿像素逼真到无死角被赞AI渲染新高度_假3D场景超1亿像素逼真到无死

生成的也不仅仅是一段视频，更是一个3D场景模型，不仅能任意角度随意切换、高清无死角，还能调节曝光、白平衡等参数，生成船新的照片：先来看一段“视频”，有没有看出什么不对劲的地方？其实，这仅仅是由一组照片渲染出来的（右下角为拍摄照片）！

文章图片

文章图片

文章图片

在完全不同的场景下，例如一个坦克厂中，同样能用一组照片渲染出逼真3D场景，相同角度与真实拍摄图像几乎“完全一致”：

文章图片

要知道，之前苹果虽然也做过一组照片生成目标物体3D模型的功能，但最多就是一件物体，例如一只箱子：

文章图片

这次可是整个3D场景！

文章图片

这是德国埃尔朗根-纽伦堡大学的几位研究人员做的项目，效果一出就火得不行，在国外社交媒体上赞数超过5k，阅读量达到36w+ 。

文章图片

那么，这样神奇的效果，究竟是怎么生成的呢？
用照片还原整个3D场景图
整体来说，这篇论文提出了一种基于点的可微神经渲染流水线ADOP（Approximate Differentiable One-Pixel Point Rendering），用AI分析输入图像，并输出新角度的新图像。

文章图片

在输入时，由于需要建模3D场景，因此这里的照片需要经过严格拍摄，来获取整个场景的稀疏点云数据。
具体来说，作者在从照片获取点云数据时，采用了COLMAP 。
先从多个不同的角度拍摄场景中的照片，其中每张照片的视角都会经过严格控制。
然后采用SfM（Structure From Motion，运动恢复结构）方法，来获取相机内外参数，得到整个场景的3D重建数据，也就是表示场景结构的稀疏点云：

文章图片