VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度

生成的也不仅仅是一段视频,更是一个3D场景模型,不仅能任意角度随意切换、高清无死角,还能调节曝光、白平衡等参数,生成船新的照片:先来看一段“视频”,有没有看出什么不对劲的地方?其实,这仅仅是由一组照片渲染出来的(右下角为拍摄照片)!

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片



VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片



VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


在完全不同的场景下,例如一个坦克厂中,同样能用一组照片渲染出逼真3D场景,相同角度与真实拍摄图像几乎“完全一致”:

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


要知道,之前苹果虽然也做过一组照片生成目标物体3D模型的功能,但最多就是一件物体,例如一只箱子:

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


这次可是整个3D场景!

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


这是德国埃尔朗根-纽伦堡大学的几位研究人员做的项目,效果一出就火得不行,在国外社交媒体上赞数超过5k,阅读量达到36w+ 。

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


那么,这样神奇的效果,究竟是怎么生成的呢?
用照片还原整个3D场景图
整体来说,这篇论文提出了一种基于点的可微神经渲染流水线ADOP(Approximate Differentiable One-Pixel Point Rendering),用AI分析输入图像,并输出新角度的新图像 。

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片


在输入时,由于需要建模3D场景,因此这里的照片需要经过严格拍摄,来获取整个场景的稀疏点云数据 。
具体来说,作者在从照片获取点云数据时,采用了COLMAP 。
先从多个不同的角度拍摄场景中的照片,其中每张照片的视角都会经过严格控制 。
然后采用SfM(Structure From Motion,运动恢复结构)方法,来获取相机内外参数,得到整个场景的3D重建数据,也就是表示场景结构的稀疏点云:

VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
文章图片

推荐阅读