不过 ， 演员可戴在头上的HMC摄像头数量有限 ， 面部捕捉的角度、覆盖面积比固定机位更少 。 因此 ， 准确捕捉3D面部数据、识别3D标记则尤为重要 。 为了训练良好的3D预测算法 ， 索尼使用固定机位和HMC预先捕捉人脸数据 ， 其中包括面部表情、3D标记等等 。 算法通过这些数据去学习表情和面部运动之间的相关性 ， 后续只需要HMC的数据就可预测3D面部运动 ， 准确性足够接近传统的固定机位方案 。
模拟面部变形在捕捉人脸3D标记信息后 ， 索尼的动捕系统根据眼睑、嘴唇轮廓信息来模拟面部变形 ， 并动态渲染在3D模型上 。 渲染面部变形的流程是：根据几何函数模拟面部表情、用机器学习模型将面部表情个性化、细节微调、叠加纹理 。 首先第一步 ， 3D面部动作、眼睑轮廓需要准确定位 ， 才能确保后续面部变形合理 。 因此 ， 索尼设定了一个具有几何约束的能量函数 ， 可根据3D面部数据来调整面部模型的整体形态 。
另外 ， 由于人脸表情变化引起的皮肤拉伸、收缩、皱纹和肌肉隆起程度因人而异 ， 因此索尼利用十几种面部表情模式来训练个性化的机器学习模型 ， 这些模型可根据人脸特征 ， 来将3D面部表情个性化 ， 重现用户的个人特征 。
细节方面 ， 该机器学习模型将人脸区域的伸长、收缩程度作为特征值 ， 并根据几何变形模型与真实值之间的差距回归 ， 从而输出具有个人特征的面部变形 。
面部变形的最后一步 ， 就是引入眼睑、嘴唇、口腔形状变形算法 ， 对面部模型进行额外处理 。 这一步是为了纠正面部变形可能产生的误差 ， 确保眼睑覆盖眼球（避免眼球和眼睑出现间隙 ， 或眼球穿模眼皮）、自然的口腔形状变化等特征 。 在眼睑处理部分 ， 该算法重点是避免眼睑接触眼球 ， 而嘴唇处理部分 ， 则侧重于几何约束 ， 确保面部捕捉到的嘴唇轮廓与3D模型的嘴唇形状匹配 。
面部和身体集成完成3D面部动作模拟后 ， 下一步便是将面部与身体姿态集成 ， 并协调面部表情和身体动作 。 如果面部和身体分开运动 ， 会显得不自然 ， 因此索尼开发了面部和身体一体化算法 ， 可模拟全身自然运动 。
索尼指出 ， 目前市面上的动捕方案主要用于模拟人体模型的运动和变形 ， 人体3D信息通过光学方案捕捉 ， 并且在颈部、腿部、手臂等处添加标记来定位骨骼姿态 ， 生成人体网格 ， 从而模拟人体形状 。 相比之下 ， 索尼的方案侧重于模拟颈部形状 ， 颈部的动作会同时受到面部和身体运动影响 ， 比如颈骨运动决定面部方向 ， 下颌运动决定嘴巴运动 。
于是 ， 索尼构建了一个全身姿态模拟系统 ， 将HMC数据和身体动作捕捉同步 ， 并根据这些数据来预测颈部形状 。 据悉 ， 索尼预先创建了结合多种嘴型、面部方位的大量训练数据 ， 并从中提取了潜在的颈部形状 。 在实际预测中 ， 颈部模型组合了多种数据 ， 包括下颌运动、颈部方向 。
索尼表示：该颈部模拟模型可重现自然的面部和身体动作 ， 目前训练改模型需要大量训练数据 ， 后续将想办法减少对数据的依赖 。
总之 ， 索尼的数字人模拟方案实现了自动化的人脸表情模拟 ， 这大大减少了前期创作工作 ， 允许创作者交付更高质量产品 。 更重要的是 ， 该方案可根据不同人的特征去模拟运动 ， 好处是看起来非常自然 。 索尼表示：随着3D虚拟技术发展 ， 数字人将会被更多人所熟知 ， 轻松创建Avatar的需求将逐步增加 。 未来 ， 希望可以将这项几乎应用于消费级市场 ， 比如电影、游戏等领域 。 参考：sony
推荐阅读
- 31岁男子相亲恋爱差点当爷爷，更多毁三观细节被曝光！
- 陷入交易流言不碍事 连续6战交出两双 合同年他要为自己而战
- 2换1交易达成！西部仅2队摆烂，无眉湖6胜5负！
- 从5999跌至3099，超曲屏+三主摄+IP68防水，超越华为Mate40Pro？
- “没有我拐不走的孩子”，年关将至，三类小孩容易落入人贩子手中
- 道格海外推出V Max坚固型手机，搭载天玑1080，拥有超大容量电池
- 河南公安2022年全省接警2529.29万起，破获违法犯罪案件3.46万起
- 魏牌蓝山DHT-PHEV，6座插电式混动SUV，预售价35万-40万元
- 胡鑫宇失踪案迎来转折，网传胡鑫宇有自杀倾向，关闭监控的嫌疑人找到了，破案不远了？