如何在虚拟世界里灵活运用你的双手?手势交互方案、算法和场景全解析(12)

手部关键点也可以理解为手部骨架的关节点 , 通常用 21 个 3D 关键点来描述 。 每个 3D 关键点有 3 个自由度 , 那么输出维度就是 21*3 。 所以我们常常用一个 21*3 维的矢量来描述 , 如下图:

可视化后的21个手部3D关键点

目前学术界已经提出各种算法用于解决“基于深度的手势姿态估计问题“ , 这些算法大体可以分成模型驱动(model-driven)和数据驱动(data-driven)两种方式 。

1、模型驱动类算法

此类算法通常是预先用手部 pose(pose 指位姿参数或节点位置 , 后文将统称为 pose)生成一系列手的几何模型 , 并建立一个搜索空间(所有可能的手势几何模型的集合) , 然后在搜索空间内找到与输入深度图最匹配的模型 。

此时 , 模型对应的参数就是所求的 pose 。 此类算法属于生成式方法(Generative Approaches) , 我们以下图中的论文为例:

模型驱动类算法通常需要设计一种方式把 pose 转换成对应的几何模型 。

推荐阅读