如何在虚拟世界里灵活运用你的双手?手势交互方案、算法和场景全解析(15)

这样的机器学习算法有很多 , 可以是早期使用的随机森林 , SVM 或是最近研究的火热的神经网络等 。 此类方法的优点是不需要设计复杂的模型 , 缺点是需要大数据 。 但现在大数据时代数据量已经不是问题 , 这种数据驱动的方式已经成为目前的主流研究方向 。

早期学术界研究手势关键点回归的经典方法有 Cascade regression , Latent Regression Forest 等 。 近些年研究主要集中在各类神经网络如:DeepPrior 系列、REN、pose guided、3D-CNN、Multi-View CNNs、HandPointNet、Feedback Loop 等 。

由于此处讨论的用于手势的神经网络与普通的图的神经网络并无本质差异 , 而神经网络的科普文章已经很多 , 这里就不做科普了 , 我们仅挑几个有代表性的网络结构介绍一下:

DeepPrior:网络结构大体如下图 , 通过初始网络得到粗略的 pose , 再用 refine 网络不断优化 , 并且在最后的全连接层前加了一个低维嵌入 , 迫使网络学习把特征空间压缩到更低维度 。 此网络后续有更优化的版本 DeepPrior++ 。

推荐阅读