Google的3D全息通话黑科技进入试用阶段,视频通话要被颠覆了?( 二 )


这像是一场发生在同一张桌子上的面对面交流 , 其拟真程度几乎让人忘了两间测试房实际上相隔甚远 。

之所以用「拟真」来形容这场别开生面的会谈(你平时一定不会听到有人说视频通话里的人长得好逼真) , 是因为画面终端显示的画面其实并非是单纯的影像画面 , 而是根据图像、深度等信息重新渲染的「虚拟人」 , 而这是营造超现实临场感的关键 。
3D 的秘密 将真人虚拟化为什么反而会更加真实?要理解这个问题先要从 Project Starline 的工作原理下手 。

坐在这张精致「梳妆台」面前 , 最瞩目的莫过于这块 65 寸的大屏幕 , 这可不是普通的家用电视 , 而是一块 8K/60Hz 的 3D 光场显示器 , Google 的研究员称其单眼可观测的像素密度是 Oculus Quest 等 VR 设备的两倍 , 可以有更精细的立体显示效果 。

要让这块光场显示器显示出立体效果 , 就需要采集物体的深度信息 。 研究员在屏幕的上方和底部都安置了多个双目立体相机和红外相机 , 这样就能结合多角度的深度信息还原出人物的空间距离感 。

在屏幕的两侧和上方还安装了多个单色跟踪摄像头 , 用于对人物脸部五官的实时 3D 定位 , 这样当人物在移动时也能精准地还原人物模型 。
▲ 真人照片
▲ 渲染效果
当这些采集到的位置和画面信息传输到了接收端 , 系统会根据观众左右眼的位置渲染出三个深度流 , 与纹路流混合渲染出逼真的「虚拟人」 。
这时候 , 当观众的眼睛位置改变 , 图像的位置也会跟随眼球移动做细微的位置偏转 , 这是传统 2D 影像所不能提供的空间真实感 。
Project Starline 除了要在视觉上打破「次元壁」外 , 在听觉上也下了不少功夫 。

在输入端 , 麦克风可以配合脸部追踪的数据形成具有指向性的动态波束 , 以实现降噪和抗干扰 。 在输出端 , 追踪系统则能定位观众的耳朵 , 模拟出对话的空间方位感 , 让声音听起来就像是屏幕中的嘴巴说出来一样 。

试想一下 , 当你要与同事、合作伙伴举行重要的视频会议时 , 与会者不再需要全神贯注地盯着狭小的屏幕 , 眼神不用再迷离在摄像头之外 , 而是可以与你做自然的眼神接触 , 甚至能用一些肢体语言辅助表达 , 这样的参会体验将会是一种质的飞跃 。
不过现阶段 Project Starline 距离实际应用仍然有很长一段路要走 。
Wired 的编辑 Lauren Goode 在体验过 Project Starline 后表示 , 虽然全息视频的视觉效果在大多数时间都很棒 , 但当人物移动幅度过大时 , 原本立体的图像就会短暂变回平面 , 体验不甚完美 。

Google 的研究员也提到 , 在处理形状复杂(例如蓬松的毛发、光学眼镜)或者运动物体时 , 时常会有错误的「伪影」出现 , 其团队目前正致力于提高影像处理的准确性 。
除了技术上的障碍 , 布设一整套 Project Starline 的成本也相当高昂 , 昂贵的光场显示器和各种光学摄像头注定了 Project Starline 在目前只能是实验室产品 , 要想打入消费者市场几乎不太可能 。
Andrew Nartkerct 在接受 The Verge 采访时坦诚说道 , Project Starline 是一项振奋人心的全新技术 , 是空间交互领域的一次突破性的探索 , 但目前它仍很难称得上是一件「产品」 。
海内存知己 , 天涯若比邻 那么 , Project Starline 花这么大力气到底是要解决些什么呢?项目组给出的答案也很简单:让你感觉到你和一个真正的人在一起 。

在过去的一年里 , 以 Zoom 为代表的远程会议软件在企业、学校得到了广泛的使用 , 人们因为各种原因分隔开 , 不得不通过这些视频软件协同工作 , 甚至组织一次难得见面 , 人与人之间的联系也因此被冲淡 。
微软在一份关于视频会议对工作效率的影响的报告中提到 , 人们在视频会议中会比现实沟通更容易分心 , 这是人们在面对高压力的视频会议下的自然应对反应 。
而能提供真人对话体验的 Project Starline , 似乎能消除这种妨碍沟通的压力感 。

【Google的3D全息通话黑科技进入试用阶段,视频通话要被颠覆了?】虽然 Project Starline 布满各式各样的摄像器材 , 但当其工作起来后 , 这些冷冰冰的技术都会被参会者抛到脑后 , 因为这时候在他面前与之沟通坐着的是一个近乎真实的「人」 。
Google 的研究员经过对比实验后发现 , 相比于传统视频沟通 , 使用 Project Starline 沟通的参会者会有更多的眼神接触和肢体语言 , 在沟通结束后能够回忆的内容也要多出 28% 。 这也许就是自然沟通的魅力 。

推荐阅读