如何在虚拟世界里灵活运用你的双手?手势交互方案、算法和场景全解析(11)

trakSTAR使用示意图

此方案需在手部贴 6 个磁力传感器(5个指尖+1个手背) , 并在面前放一个磁力发射器 。 磁力发射器会在一定范围内形成一个特殊的电磁场 , 然后根据传感器在电磁场中不同位置角度检测到的电磁场强度的不同 , 来推断出指尖及手掌的位置角度 。 再通过反运动学 , 确定所有手部关节点的位置 。

此方案的缺点是有效使用范围太小 , 价格太贵 , 适用场景太少 。 优点是精度很高 , 稳定性很好 , 并且可获得手部所有自由度 。

目前此方案还只有纯科研在用 , 最近几个学术界公开的手势数据集 FHAB、 BigHand 都是用此设备采集的 。

   FHAB 数据集中的示意图

手势识别的两类算法模型

通过以上科普 , 相信大家对手势识别的硬件方案有了初步的了解 。 但要想做好手势交互 , 仅硬件方案是不够的 , 还需要专业算法的支持 。

当我们通过摄像头得到深度图后 , 下一步就是把深度图输入给算法 , 算法可以输出我们手部所有关键点的 3D 位置 。

推荐阅读