系统实现
如下图 4 所示 ， 谷歌的系统主要有两个组件：一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元 ， 另一个是包含红外背光并用作 bench seat 的背光单元 。 两个单元都包含向墙壁和天花板倾斜的白色 LED 灯条 ， 用于产生柔和的反射照明 。
文章图片
捕获子系统由三个同步立体的 RGBD 捕获 pod 组成：两个在显示器上方 ， 一个在显示器下方的「中墙」（middle wall）中 。 更下方的 pod 包括一个额外的彩色相机 ， 用于放大拍摄对象的脸部 。 另外 ， 四个单色追踪摄像头中的两个在显示器上方 ， 其余两个一侧一个 ， 用于捕捉眼睛、耳朵和嘴巴的高速广角图像 。
下图 5 展示了捕获和显示组件的排列 。
文章图片
更详细的系统组件信息如下：
文章图片
下图 6 为系统中的数据流 ， 展示了 Starline 主要的处理组件如何映射到 GPU 和 CPU 。 系统中的所有视频处理都在 60 Hz 下进行 ， 除了 120 Hz 的面部跟踪和 180 Hz 的红外立体模式捕获 。
文章图片
照明
谷歌使用间接「反弹」（bounce）光源创造了一个柔和的照明环境 。 在显示和背光单元的侧面和背面 ， 白色 LED 灯带照亮了周围的墙壁 ， 产生舒适的漫射源 ， 最大限度地减少锐利高光 。 与明亮的 LED 直接照明相比 ， 这种散射的光对用户来说也更舒适 。
同时 ， 光亮保持一定的不均匀分布也很重要 。 谷歌发现 ， 完全均匀的入射光使人脸和其他 3D 形状看起来扁平且不真实 ， 阻碍了系统中其他 3D 效果的发挥 。 摄影师尤其是电影摄影师将拍摄对象完全照亮和阴影两侧之间的对比度称为「照明比」 。 为了保持对象的立体感 ， 谷歌在邻近墙壁的显示单元一侧使用更强的强度 ， 产生大约 2:1 的照明比 。
【pod|谷歌公开裸眼3D全息视频聊天技术：8k屏幕、4块GPU和一堆摄像头】展示效果如下图 7 所示：
文章图片
色彩校准
谷歌通过调整每个相机的增益、色彩校正 (3×3) 矩阵和 gamma 对系统的 RGB 相机进行色彩校准 ， 以使标准色彩目标 [McCamy et al. 1976] 匹配 D65 光源下的参考色彩值 ， 抵消了室内照明的影响 。 经过色彩校准的显示器在 D65 光源下拍摄的图像看起来像是在当地房间的照明条件（强度和色彩）下拍摄的 。 这种色彩校准方案可确保系统自动校正两个用户位置之间的细微照明差异 。
推荐阅读
- Google|谷歌暂缓2021年12月更新推送 调查Pixel 6遇到的掉线断连问题
- 测试|图森未来完成全球首次无人驾驶重卡在公开道路的全无人化测试
- Apple|苹果高管解读AirPods 3代技术细节 暗示蓝牙带宽可能成为瓶颈
- AirPods|苹果谈论AirPods 3：最大榨取蓝牙技术，希望获得“更多带宽”
- Tesla|马斯克也要效仿谷歌Facebook 为特斯拉设立控股母公司？
- 未来|图森未来完成全球首次无人驾驶重卡公开道路全无人测试
- ti|英伟达明年1.5将举办特别活动 游戏相关新情报公开
- Samsung|三星打算对外公开其C-Lab Inside计划的4个新项目
- 最初的|微软指责谷歌“耽误”了Surface Duo安卓11的最后升级期限
- GitHub|小米 12 / Pro / X 系列内核源码已公开，基于 Android 12