目标语义 识别物体的标签及形状 。AR Engine 可识别物体的标签和形状 ， 目前可以识别桌子、椅子 ， 支持识别的形状包含立方体、圆形、矩形 。 2D 云识别 识别和跟踪云端 2D 图像的数据 。AR Engine 检测场景中是否存在用户在云侧配置的 2D 图像 ， 当这些图像出现在终端设备的相机视野范围内时 ， 云侧实时返回识别结果至终端设备 ， 实现基于现实世界场景中 2D 图像的交互 。 人体和人脸跟踪 跟踪人脸、人体、手势等实时信息 ， 以辅助您的应用实现用户与虚拟物体交互的能力 。
- 手势识别 识别特定的手势和特定的动作 。AR Engine 提供多种特定手势的识别 ， 输出识别到的手势类别结果并给出手掌检测框屏幕坐标 ， 左手和右手均可支持 。 当图像中出现多只手时 ， 只反馈单手（最清晰且置信度最高）识别结果和坐标信息 。 支持前后置相机切换 。通过手势识别能力 ， 可将虚拟物体叠加到人的手部位置 ， 并根据不同的手势变化来激活某些状态的切换 ， 这可给您的 AR 应用提供基础的交互功能并增加新的玩法 。
- 手部骨骼跟踪 识别和跟踪 21 个手部关节点的位置和姿态 ， 形成手部骨骼模型 ， 并可分辨左右手 。AR Engine 提供单手关节点和骨骼识别能力 ， 输出手指端点、手部骨骼等手部高级特征 。 当图像中出现多只手时 ， 只反馈单手（最清晰且置信度最高）识别结果和坐标信息 。 目前仅 Mate 20 Pro、Mate 20 RS 前置深度摄像头支持 。通过手部骨骼识别能力 ， 您可将虚拟物体叠加到更为精确的手部位置 ， 例如手指尖、手掌心等；利用手部骨骼 ， 可驱动虚拟手做出更为丰富和精细的动作 ， 这可给您的 AR 应用提供增强的交互功能和难以置信的新奇玩法 。
- 人体姿态识别 识别特定的人体姿态 ， 目前支持 6 种特定姿态 。AR Engine 提供单人的身体姿态识别能力 ， 识别六种静态身体姿势并输出识别结果 ， 支持前后摄像机切换 。您可将人体姿态识别能力运用在需要识别动作并触发某些事件的应用场景 ， 比如交互界面控制、游戏操作动作识别等触发类交互行为 ， 是体感应用的基础核心功能 ， 为您的 AR 应用提供较远距离远程控制和协作的能力 ， 丰富应用的交互体验 。
- 人体骨骼跟踪 识别和跟踪 23 个身体骨骼点的 2D 位置（或 15 个骨骼点的 3D 位置） ， 支持单人和双人 。AR Engine 提供单人和双人的身体关节点识别能力 。 支持 2D 骨骼（屏幕坐标系）和 3D 骨骼（与 SLAM 结合的空间坐标系）的输出 ， 支持前后置相机切换 。通过人体骨骼识别能力 ， 您可将虚拟物体叠加到人体的指定部位 ， 例如左肩、右脚踝等；利用人体骨骼 ， 可驱动虚拟人偶做出更为丰富和精细的动作 ， 这可给您的 AR 应用提供大范围的交互功能和难以置信的新奇玩法 。
推荐阅读
