如何在虚拟世界里灵活运用你的双手？手势交互方案、算法和场景全解析(16)

2019-09-19

Feedback Loop：网络结构如下图，此网络在预测 pose 之后，反过来用 pose 生成深度图，并与输入的深度图一起预测更优的 pose ，此 pose 又可用来生成更优的深度图，以此迭代循环优化pose 。

3D CNN：网络结构如下图，此网络把2D深度图上用像素的描述的深度信息，以TSDF的方式转化为体素（3D的像素），并用3D 卷积代替了普通的2D卷积。

此处最大的贡献就是在网络结构上从2D走到了3D ，因为传统2D卷积网络是为2D图像设计的，并不一定适合3D信息的提取，而用3D卷积网络则更容易获取3D特征，也就更适用于3D手部关键点回归的问题。

HandPointNet：网络结构如下图，此网络输入时把深度图转成点云，然后用 PointNet 做手部 3D 关键点回归。

推荐阅读

上一篇：5G概念股逆市上扬京信通信及长飞光纤各涨近3%

下一篇：扎克伯格变心了？吃着碗里的 VR，盯着锅里的 AR