VR|假3D场景超1亿像素逼真到无死角 被赞AI渲染新高度
生成的也不仅仅是一段视频,更是一个3D场景模型,不仅能任意角度随意切换、高清无死角,还能调节曝光、白平衡等参数,生成船新的照片:先来看一段“视频”,有没有看出什么不对劲的地方?其实,这仅仅是由一组照片渲染出来的(右下角为拍摄照片)!
文章图片
文章图片
文章图片
在完全不同的场景下,例如一个坦克厂中,同样能用一组照片渲染出逼真3D场景,相同角度与真实拍摄图像几乎“完全一致”:
文章图片
要知道,之前苹果虽然也做过一组照片生成目标物体3D模型的功能,但最多就是一件物体,例如一只箱子:
文章图片
这次可是整个3D场景!
文章图片
这是德国埃尔朗根-纽伦堡大学的几位研究人员做的项目,效果一出就火得不行,在国外社交媒体上赞数超过5k,阅读量达到36w+ 。
文章图片
那么,这样神奇的效果,究竟是怎么生成的呢?
用照片还原整个3D场景图
整体来说,这篇论文提出了一种基于点的可微神经渲染流水线ADOP(Approximate Differentiable One-Pixel Point Rendering),用AI分析输入图像,并输出新角度的新图像 。
文章图片
在输入时,由于需要建模3D场景,因此这里的照片需要经过严格拍摄,来获取整个场景的稀疏点云数据 。
具体来说,作者在从照片获取点云数据时,采用了COLMAP 。
先从多个不同的角度拍摄场景中的照片,其中每张照片的视角都会经过严格控制 。
然后采用SfM(Structure From Motion,运动恢复结构)方法,来获取相机内外参数,得到整个场景的3D重建数据,也就是表示场景结构的稀疏点云:
文章图片
推荐阅读
- 浦峰|冬奥纪实8k超高清试验频道开播,冬奥结束后转入常态化运转
- 技术|“2”类医械有重大进展:神经介入产品井喷、基因测序弯道超车
- 影像|iQOO 9 系列预热:首发三星 GN5 传感器,150° 鱼眼超广角
- 重大进展|“2”类医械有重大进展:神经介入产品井喷、基因测序弯道超车
- IT|全球每日新增确诊病例首超100万例 世卫:两大毒株正掀起“疫情海啸”
- 矩阵|聚焦快递末端痛点 国内首款无人驾驶快递物流车在中通启动应用场景内测
- 电子商务|员工抱怨亚马逊太冷酷:工伤后得不到赔偿 还不让休假
- Tesla|特斯拉回应“保费暴涨”:平均涨幅约10% 高性能车型不超20%
- 硬件|Intel 11代酷睿4核15瓦超迷你平台 仅有信用卡大小
- Tesla|网传特斯拉等新能源汽车保费上涨超50% 多家车险公司回应不实