scale|字节跳动利用单张图片做三维重建：将NeRF、MPI结合，提出MINE( 二 )_

另外一个与该研究较相关的是 MPI（Multiplane Image）[1, 2, 3] 。 MPI 包含了多个平面的 RGB-alpha 图片，其中每个平面表达场景在某个深度中的内容，它的主要缺点在于深度是固定及离散的，这个缺点限制了它对三维空间的表达能力。 [1, 2, 3] 都能方便地泛化到不同的场景，然而 MPI 各个平面的深度是固定且离散的，这个缺点严重限制了它的效果。

文章图片

方法综述
该团队采用一个 encoder-decoder 的结构来生成三维表达：

Encoder 是一个全卷积网络，输入为单个 RGB 图片，输出为 feature maps；
Decoder 也是一个全卷积网络，输入为 encoder 输出的 feature map ，以及任意深度值（repeat + concat），输出该深度下的 RGB-sigma 图片；
最终的三维表达由多个平面组成，也就是说在一次完整的 forward 中， encoder 需要 inference 一次，而 decoder 需要 inference N 次获得个 N 平面。

scale|字节跳动利用单张图片做三维重建：将NeRF、MPI结合，提出MINE

文章图片

获得三维表达后，不再需要任何的网络 inference ，渲染任意 target 相机 pose 下的视角只需要两步：

利用 homography wrapping 建立像素点间的 correspondence 。可以想象，从 target 相机射出一条光线，这条光线与 target 图片的一个像素点相交，然后，研究者延长这条射线，让它与 source 相机视锥的各个平面相交。相交点的 RGB-sigma 值可以通过 bilinear sampling 获得；
利用 volume rendering 将光线上的点渲染到目标图片像素点上，获得该像素点的 RGB 值与深度。

Scale 校正

文章图片

MINE 可以利用 structure-from-motion 计算的相机参数与点云进行场景的学习，在这种情况下，深度是 ambiguous 的。由于在这个方法中，深度采样的范围是固定的。所以需要计算一个 scale factor ，使网络预测的 scale 与 structure-from-motion 的 scale 进行对齐。团队利用通过 Structure from Motion 获得的每个图片的可见 3D 点 P 以及网络预测的深度图 Z 计算 scale factor：