Microsoft|微软专利分享HoloLens通过光线投射与远距离对象进行交互的方法( 三 )


当识别出预期目标时,用户可以使用选定的交互方法移动(例如重新定位)、变换(例如,缩放、旋转、倾斜、拉伸、扭曲等)、操纵或删除渲染对象,甚至创建新对象 。
在320,方法300包括从深度摄像头接收关于环境的信息 。例如,从深度摄像头接收的信息可用于确定环境边界(例如墙、天花板、地板、窗、门等)的位置和大小,以及环境中真实世界对象的位置、大小和方向 。
在330,方法300包括确定显示设备在环境中的位置 。显示设备的位置可以基于从深度照摄像头接收的信息 。当包括在头戴式显示器中时,显示设备的位置可进一步基于一个或多个附加传感器组件(例如方向传感器和/或位置传感器)接收到的信息,从而促进生成与头戴式显示器的方向和位置以及与用户感知视场相对应的追踪数据 。
在340,方法300包括基于头戴式显示器的位置推断用户手臂的关节的位置 。用户手臂的关节可以是肩部、肘部或手腕,例如 。在一个示例中,用户手臂的关节可能对头戴式显示器的深度摄像头不可见,因此3D位置可以推断关节的位置 。例如,基于人体工程学的指标可用于根据已知头部位置预测用户肩部和/或肘部的位置 。可以确定用户肩部和/或肘部的代码模型 。
在一个示例中,用户可执行校准练习,以根据头戴式显示器的六自由度位置确定用户肩部和肘部的可能位置范围 。诸如用户手部位置的附加信息可进一步告知用户肩部或肘部的位置 。
在350,方法300包括基于从深度照摄像头接收到的信息确定用户手的位置 。在一个实施例中,头戴式显示器可配置为分析与用户对应的深度映射的像素,以便确定每个像素对应于用户身体的哪个部分 。
在一个实现中,机器学习可用于为每个像素分配身体部位索引和/或身体部位概率分布 。机器学习方法参考从先前训练的已知姿势集合中学习的信息来分析用户 。
对应于用户手部的点云可以进一步处理以揭示手的骨骼亚结构,并识别用户的手的组件,例如腕关节、手指关节、相邻的手指节段、指关节、手掌、背等 。通过分析各种手关节和/或节段中的位置变化,可以确定成像手的操作、动作或手势 。
在360,方法300包括基于用户手臂关节的位置和用户手的位置从用户手的一部分投射光线 。例如,头戴式显示器可以生成和/或接收用户手臂关节的三维坐标和用户手的三维坐标 。头戴式显示器实际配置为延伸一条射线,其端点位于用户手臂关节的位置并穿过用户手的部分 。例如,可以为肩部和/或肘部以及手掌、手腕、关节等生成线 。然后可以基于所述位置和方向投射光线 。在一个示例中,用户手臂长度的校准可以简化算法 。

推荐阅读