该研究表明所提出的系统能够合成比现有方法更清晰、更一致的新视图 ， 因为在训练期间就对初始重建进行了优化 。 高效的每像素点栅格化允许研究者使用任意相机模型并实时显示超过 100M 点的场景 。
文章图片
论文地址：https://arxiv.org/pdf/2110.06635.pdf
源代码会在之后进行发布 。
技术细节
该研究提出的方法在 Aliev 等人的 pipeline 上构建 ， 并通过多种方式进行了改进 。 具体地 ， 研究者添加了一个物理可微的相机模型和一个可微的色调映射器 ， 并提供了一个更好地逼近单像素点栅格化的空间梯度的公式 。
这种可微的 pipeline 不仅可以优化神经点特征 ， 而且在训练阶段能够纠正不精确的输入 。 因此 ， 该系统基于神经渲染网络的视觉损失调整相机姿态和相机模型 ， 并结合晕影模型和每个相机的传感器响应曲线估计每个图像的曝光和白平衡值 。
下图 1 为这种方法的示意图：
文章图片
完整的端到端可训练神经渲染 pipeline 如下图 2 所示 ， 其中输入为新帧的相机参数、一个点云（每个点被分配给可学得的神经描述器）和一个环境图 ， 输出为给定新视点的 LDR 场景图像 。 由于所有步骤都是可微的 ， 因此可以同时对场景结构、网络参数和传感器模型进行优化：
文章图片
具体地 ， 该 pipeline 的第一个步骤是可微的栅格化单元（图 2 左） ， 通过使用相机参数将每个点映射到图像空间 ， 进而将该点渲染为单像素大小的 splat；
神经渲染器（图 2 中）使用多分辨率神经图像来生成单个 HDR 输出图像 ， 它包含一个具有跳跃连接的四层全卷积 UNet ， 其中更低像素的输入图像连接到中间特征向量；
该 pipeline 的最后一个步骤（图 2 右）是可学得的色调映射操作器 ， 它将渲染的 HDR 图像转换为 LDR 。 这个色调映射器模拟了数码相机的物理镜头和传感器特性 ， 因此最适合智能手机、DSL 相机和摄像机的 LDR 图像捕捉 。
可微的单像素点渲染
如上所述 ， 可微的栅格化单元使用单像素大小的 splat 对多分辨率的变形点云进行渲染 。 形式上来讲 ， 神经图像 I 的分辨率层 l ? {0,1...,L?1} 的是渲染器函数Φ_l 的输出 ， 如下公式（1）所示：
文章图片
【游戏|实时可微：单像素点渲染视频，网友：自己制作3A游戏的时代要来了】
推荐阅读
- 截图|靠抄袭对标苹果？心动黄一孟指责小米新版游戏中心抄袭TapTap
- ASUS|华硕预热ROG Flow Z13：称其是“全球最强悍的游戏平板”
- 平板|消息称 ROG Flow Z13 游戏平板搭载锐龙 6000 处理器
- Lenovo|联想将推出135W Type-C充电器：游戏本告别“砖头”
- Samsung|三星注册Odyssey Flex/Ark商标 或用于新款游戏显示器
- 中国|411 家游戏企业签署防沉迷公约，95% 游戏添加适龄提示
- 赛道|声网发布实时互动场景创新生态报告，预测RTE行业市场规模将达千亿
- 游戏|PC Gamer：2021年的PC游戏正在离桌面PC而去
- ti|英伟达明年1.5将举办特别活动 游戏相关新情报公开
- 画质|AMD RSR 分辨率缩放技术曝光：基于 FSR，无需游戏适配即可使用