AI|只需2张照片就能2D变3D 这个AI能自己脑补蜡烛吹灭过程只需2张照片就能2D变3D|这个A

2张废片啪地一合！错过的精彩瞬间立刻重现，还能从2D升到3D效果。看，小男孩可爱的笑容马上跃然浮现：吹灭生日蛋糕蜡烛的瞬间也被还原了出来：

文章图片

咧嘴笑起来的过程看着也太治愈了吧~

文章图片

咱就是说，这回相机里熊孩子/毛孩子的废片终于有救了！
而且完全看不出是后期合成的效果，仿佛是原生拍摄的一般。
这就是Google、康奈尔大学、华盛顿大学最近联合推出的成果，能只用 2张相近的照片还原出3D瞬间，目前已被CVPR 2022收录。
论文作者一作、二作均为华人，一作小姐姐本科毕业于浙江大学。
用2张照片正反向预测中间场景
这种方法适用于两张非常相似的照片，比如连拍时产生的一系列照片。
方法的关键在于将2张图片转换为一对基于特征的分层深度图像（LDI），并通过场景流进行增强。
整个过程可以把两张照片分别看做是“起点”和“终点” ，然后在这二者之间逐步预测出每一刻的变化。
具体来看，过程如下：

文章图片

首先，将两张照片用单应矩阵（homegraphy）对齐，分别预测两张照片的稠密深度图。
然后将每个RGBD图像转换为彩色的LDI ，通过深度感知修复背景中被遮挡的部分。
其中， RGB图像即为普通RGB图像+深度图像。

文章图片

之后用二维特征提取器修复LDI的每个颜色层，以获取特征层，从而生成两份特征图层。
下一步就到了模拟场景运动部分。
通过预测两个输入图像之间的深度和光流，就能计算出LDI中每个像素的场景流。
而如果想要两张图之间渲染出一个新的视图、并提升到3D ，在此需要将两组带特征值的LDI提升到一对3D点云中，还要沿着场景流双向移动到中间的时间点。
然后再将三维的特征点投影展开，形成正向、反向的二维特征图及对应深度图。
最后将这些映射与时间线中对应时间点的权重线性混合，将结果传给图像合成网络，就能得到最后的效果了。
实验结果
从数据方面来看，该方法在所有误差指标上，均高于基线水平。
在UCSD数据集上，这一方法可以保留画面中的更多细节，如（d）所示。

文章图片

在NVIDIA数据集上进行消融实验表明，该方法在提高渲染质量上表现也很nice 。

文章图片

不过也存在一些问题：当两张图像之间的改变比较大时，会出现物体错位的现象。
比如下图中酒瓶的瓶嘴移动了，不该发生变化的酒杯也摇晃了起来。

文章图片

还有照片如果没有拍全的地方，在合成的时候难免会出现“截肢”的情况，比如下图中喂考拉的手。

文章图片

团队介绍

文章图片

该研究的一作为 Qianqian Wang ，现在在康奈尔大学读博四。
她本科毕业于浙江大学，师从周晓巍。
研究兴趣为计算机视觉、计算机图形学和机器学习。

文章图片

二作是 Zhengqi Li ，博士毕业于康纳尔大学，本科毕业于明尼苏达大学，目前在Google Research 。
曾获提名CVPR 2019最佳论文， Google2020博士奖研金， 2020年Adobe Research奖学金，入围百度2021年AI华人新星百强榜单。

文章图片

参与此项研究的还有华盛顿大学教授 Brian Curless 。
他还提出过另一种方法能够实现类似效果，同样只用到了2张照片，通过新型帧插值模型生成连贯的视频。

文章图片

论文地址：
【AI|只需2张照片就能2D变3D 这个AI能自己脑补蜡烛吹灭过程】https://3d-moments.github.io/

AI|只需2张照片就能2D变3D 这个AI能自己脑补蜡烛吹灭过程

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)