Facebook AI通过“学习”视频，自动生成游戏角色( 三 )_图1

首先，需要将包含一个或多个人物特征的视频输入到针对特定域（例如，跳舞）训练的 Pose2Pose 网络，将其运动状态和自身隔离，用于确定哪些背景区域可以被合成图像所替换。随后 Pose2Frame 网络运用这些组合的运动姿势数据，区分场景中与角色相关的变化，如阴影、反射以及角色的独立特征。最后与预先设计好的背景混合输出。

在实验部分，研究人员采集了三段视频，每段视频长度为五到八分钟，视频的主角分别是一个户外网球运动员，一个在室内舞剑的人，和一个正在走路的人。之后与一个用三分钟跳舞视频训练的神经网络相比，该实验结果对人物动态元素的捕捉更为成功。（排除角色服装和镜头角度的变化）。

该技术投入使用后，人们将有机会成为游戏中人物的化身，自定义游戏角色，并赋予角色独有的动作形态。这项基于 AI 技术的角色生成系统可能会催生更多不同类型的游戏，逼真且个性化可能是未来游戏行业发展的一个方向。

参考：

https://arxiv.org/pdf/1904.08379.pdf

https://appuals.com/facebook-developers-push-ai-to-new-limits-making-games-out-of-a-video-in-coming-years/