pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头( 四 )


对于 2 用户视图 (左和眼) 中的每一个 , 使用相同的光线投射算法计算输出深度图;
对于每个输出深度映射点(output depth map point) , 计算由第 1 步得出的阴影映射图加权颜色混合 。
对于左视图和右视图 , 该研究通过将彩色图像投射到融合几何体上来获得每个像素的颜色(图 10):

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

图 11 显示了没有边缘融合的不规则像素化轮廓 。 该图还显示 , 基于图像的融合提供了比轮廓附近体积融合(volumetric fusion)更完整的重建:

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

声音传输
该研究使用的音频传输技术是将一系列先进技术进行组合:talker-tracked 波束成形、混响消减、WebRTC 传输、talker/listener-tracked 虚拟音频合成、双耳串扰消除分频组合以及振幅平移 。 与传统的视频会议系统相比 , 对谈话者和倾听者精确的追踪是共享空间达到真实性的关键因素(图 12) 。 据了解 , 这是首次在视频会议中无需耳机、头部追踪的音频技术 。

pod|谷歌公开裸眼3D全息视频聊天技术:8k屏幕、4块GPU和一堆摄像头
文章图片

推荐阅读