游戏|实时可微：单像素点渲染视频，网友：自己制作3A游戏的时代要来了_图像|相机|研究|神经|场景|研究

机器之心报道
编辑：杜伟、陈萍

合成视频达到了新的高度，来自德国埃尔朗根 - 纽伦堡大学的研究者提出了一种新的场景合成方法，使合成视频更接近现实。

合成逼真的虚拟环境是计算机图形学和计算机视觉中研究最多的主题之一，它们所面临是一个重要问题是 3D 形状应该如何编码和存储在内存中。用户通常在三角形网格、体素网格、隐函数和点云之间进行选择。每种表示法都有不同的优点和缺点。为了有效渲染不透明表面，通常会选择三角形网格，体素网格常用于体绘制，而隐函数可用于精确描述非线性分析表面，另一方面，点云具有易于使用的优点，因为不必考虑拓扑。
近日，来自国埃尔朗根 - 纽伦堡大学视觉计算实验室的研究者提出了一种新颖的基于点的、可微的神经渲染 pipeline ，可用于场景细化和新颖的视图合成。
我们先来看下该研究的效果：

文章图片

文章图片

有网友表示，这是电子游戏制作人的梦想。

文章图片

「这种效果是由 2D 图像生成的，输出是如此平滑，令人疯狂，给人印象非常深刻。」DeepMind 产品经理 Alexandre Moufarek 表示。

文章图片

「如果你对这项研究感到困惑，不明白它为什么令人印象深刻，它实际上不是一个视频，它是由照片集制作而成（顺便说一下，不是平滑的照片）。该研究发布的流畅视频是用神经技术渲染的，效果非常自然。为制作者点赞。」有网友总结道。

文章图片

具体来讲，该研究的输入是点云和相机参数的初始估计，输出是由任意相机姿态合成的图像。点云渲染由使用多分辨率单像素点栅格化的可微渲染器执行。离散栅格化的空间梯度由 ghost 几何近似。渲染后，神经图像金字塔通过一个深度神经网络进行着色计算和孔填充（hole-filling）。然后，可微、基于物理的色调映射器（tonemapper）将中间输出转换为目标图像。由于 pipeline 的所有阶段都是可微的，该研究优化了所有场景参数，即相机模型、相机姿态、点位置、点颜色、环境映射、渲染网络权重、晕影、相机响应函数、每张图像曝光和每张图像白平衡。