pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头( 二 )


系统实现
如下图 4 所示 , 谷歌的系统主要有两个组件:一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元 , 另一个是包含红外背光并用作 bench seat 的背光单元 。 两个单元都包含向墙壁和天花板倾斜的白色 LED 灯条 , 用于产生柔和的反射照明 。

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

捕获子系统由三个同步立体的 RGBD 捕获 pod 组成:两个在显示器上方 , 一个在显示器下方的「中墙」(middle wall)中 。 更下方的 pod 包括一个额外的彩色相机 , 用于放大拍摄对象的脸部 。 另外 , 四个单色追踪摄像头中的两个在显示器上方 , 其余两个一侧一个 , 用于捕捉眼睛、耳朵和嘴巴的高速广角图像 。
下图 5 展示了捕获和显示组件的排列 。

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

更详细的系统组件信息如下:

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

下图 6 为系统中的数据流 , 展示了 Starline 主要的处理组件如何映射到 GPU 和 CPU 。 系统中的所有视频处理都在 60 Hz 下进行 , 除了 120 Hz 的面部跟踪和 180 Hz 的红外立体模式捕获 。

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

照明
谷歌使用间接「反弹」(bounce)光源创造了一个柔和的照明环境 。 在显示和背光单元的侧面和背面 , 白色 LED 灯带照亮了周围的墙壁 , 产生舒适的漫射源 , 最大限度地减少锐利高光 。 与明亮的 LED 直接照明相比 , 这种散射的光对用户来说也更舒适 。
同时 , 光亮保持一定的不均匀分布也很重要 。 谷歌发现 , 完全均匀的入射光使人脸和其他 3D 形状看起来扁平且不真实 , 阻碍了系统中其他 3D 效果的发挥 。 摄影师尤其是电影摄影师将拍摄对象完全照亮和阴影两侧之间的对比度称为「照明比」 。 为了保持对象的立体感 , 谷歌在邻近墙壁的显示单元一侧使用更强的强度 , 产生大约 2:1 的照明比 。
【pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头】展示效果如下图 7 所示:

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

色彩校准
谷歌通过调整每个相机的增益、色彩校正 (3×3) 矩阵和 gamma 对系统的 RGB 相机进行色彩校准 , 以使标准色彩目标 [McCamy et al. 1976] 匹配 D65 光源下的参考色彩值 , 抵消了室内照明的影响 。 经过色彩校准的显示器在 D65 光源下拍摄的图像看起来像是在当地房间的照明条件(强度和色彩)下拍摄的 。 这种色彩校准方案可确保系统自动校正两个用户位置之间的细微照明差异 。

推荐阅读