硬件+生态这条路背后 ， 是沉淀多年的技术优势 。 比如强大的人工智能模型 ， 来理解用户手势指令的上下文逻辑 ， 最终确定需要执行的操作；再比如情境感知 ， 理想情况下 ， 用户只需要单击一次 ， 即可执行任何想做的事情；提升佩戴舒适度 ， 也需要降低VR头显的“运动病”发生概率 ， 增加AR可穿戴设备的柔软度和舒适度 ， 让它们尽可能被全天候使用 。
模拟视觉的软硬件能力 ， 是一项艰巨的长期任务 ， 还有多年的研究要做 。 短期内 ， 元宇宙还是聚焦于VR/AR 。
更早播下种子的Meta ， 确实有可能率先收获 ， 从元宇宙上赚到钱 ， 这也就不难理解它孤注一掷拥抱元宇宙的决心了 。
元宇宙之体
要让用户在数字世界里有更丰富的感觉 ， 来自身体的触觉交互和动态感知 ， 是元宇宙的核心挑战之一 。
最近 ， Meta的Reality Labs Research实验室 ， 就发布了两个重要的产品 。
一是可穿戴手套 ， 可以在虚拟的 VR 空间感受真实的触觉 。
想象一下 ， 当你在元宇宙咖啡馆里工作时 ， 虚拟键盘每一次击键的触感都能被完美感受；在元宇宙游戏中 ， 你可以感受到木质桌面的粗糙和书本表面的光滑……是不是体验感会大大提升？是不是比在VR里简单地看到自己拿起来了更有趣味、获得更多信息？
而Meta这次发布的触觉手套 ， 就在手套上安装数百个气动装置 ， 遍布整个手部 ， 可以在佩戴者做出触摸动作时协同改变形状 ， 通过气压来呈现逼真的触觉感觉 。
这种装置使得研究人员不得不转向软体机器人等新兴领域 ， 来规避传统机械耗电、僵硬、体积过大等问题 。
同时 ， 为了精确地知道用户的手在虚拟场景中的位置 ， 是否与虚拟物体接触 ， 产生的作用力多大 ， 还需要研发新型的触觉渲染系统 ， 根据手的位置、对虚拟环境的理解、虚拟物品的重量纹理和刚度等等 ， 向手套的气动装置发送正确的指令 ， 需要构建相应的软件和算法建模 。
为了达到真实的触觉模拟 ， 2017年Reality Labs Research团队就开始尝试 ， 将不同材料（木材、大理石、泡沫）制成的虚拟球体与单个振动触觉设备建立关联线索 。
除了手部跟踪 ， 身体动态也能给虚拟世界增加不少体验感 。 如何让身体数据能够输入系统并被模拟呢？
Meta的研究团队将手腕智能设备与AI相结合 ， 进而感知动态环境 。
相比手套、VR、语音等输入方式 ， 手腕设备更适合全天无感知佩戴及交互 。 但技术挑战在于 ， 如何将运动信号准确地转换为数字指令 。
Facebook在2019年收购CTRL实验室使用传感器 ， 尝试通过神经信号让用户直接控制机器 。 通过手腕的肌电图信号 ， 系统可以理解哪怕一毫米的手指运动 ， 进而转换为数字命令发送到设备上 ， 实现数字交互与控制 。
举个例子 ， 你可以在远处控制虚拟对象 ， 仿佛拥有了原力一般的超能力；未来还可以无需键盘 ， 在桌子或膝盖上打字就能输入；当你穿着鞋子离开家 ， 设备就会询问你是否需要播放音乐……
人类在婴儿时如何感知世界 ， 靠的正是一次次抓握 ， 一次次爬行 。 身体知觉的模拟 ， 能够让我们在虚拟空间里和世界再次对话、重新成长 。
元宇宙之声
你戴着一副AR眼镜和一个柔软的腕带 ， 决定去元宇宙里的虚拟会议室开个会 ， 突然发现 ， 设备里传来了嘈杂的音乐和其他人讨论的声音 ， 让你很难集中注意力 。
事实上 ， 大脑不会对耳朵传来的所有声音照单全收 ， 我们总是会对一些特殊词汇（比如自己的名字）特别敏感 ， 在有必要时也能主动屏蔽外界噪声 。 如果要在虚拟世界里复制真实的声音体验 ， 不仅需要声学设备本身的高性能 ， 也要对声音如何与真实环境相互作用进行建模 。
就拿Meta的研究方向来说 ， 在3D打印眼镜上使用多个麦克风 ， 捕捉周围的声音 ， 然后通过眼动追踪设备 ， 感知头部和眼睛运动的轨迹 ， AI系统可以找出你最感兴趣的声音中的哪一个 ， 增强正确的声音 。
这样在嘈杂的虚拟会议室或咖啡厅里对话 ， 也不必特意提高声音才能被听到 。
当用户的眼神转向旁白的电视或视频时 ， 里面正在播放的内容又会变得更响亮 ， 身边其他声音则变得更安静 。
除了模拟大脑认知 ， 空间音频技术和声学仿真技术 ， 能够模仿现实生活中不同方向来源的声音 ， 营造一个更加真实的虚拟空间 ， 用户使用Oculus Quest等设备在空间中移动时 ， 设备模拟出的声音和房间里真实的听觉效果几乎没有差别 。
推荐阅读
- 为什么彗星头部是绿色的而不是它们的尾巴？意外发现解开90年之谜
- 是什么导致小行星“活跃”？为什么小行星会释放质量？
- 飞行百万年才造访太阳，亮度在放大，来自奥尔特云的天体来了
- 伦纳德彗星掠过近日点，却留下了一条奇特的尾迹
- 科学家：一颗小行星正在逼近，明年夏天可能与地球相撞
- 水蝎的习性和特征
- 百年前就已提出的太空电梯！究竟还有什么阻挡着我们建造它？
- 冰冷、遥远的柯伊伯带的发现和特征
- 人类目睹彗星相撞，威力相当于20亿颗原子弹，飞向地球后果如何？
- 公共基础知识：第三次科技革命——天文领域