Facebook AI通过“学习”视频,自动生成游戏角色( 二 )

据介绍,这套AI 系统主要依赖于两个神经网络。一个是由 Pose2Pose(P2P)网络基于控制信号的输入流(例如来自操纵杆或游戏手柄的控制信号)以自动回归方式操纵给定姿势。另一个是 Pose2Frame(P2F),在随后给定背景图像的情况下生成高分辨率视频帧。它们通过“学习”视频中的人物身体形状、运动风格及其他特征,以此来建立游戏角色。系统最终生成的视频具有高度的个性化和逼真性,可大大提升玩家的游戏体验。

Facebook AI通过“学习”视频,自动生成游戏角色

图3/6

Facebook AI通过“学习”视频,自动生成游戏角色

图4/6

“我们的模型可以从视频中提取一个角色,并能控制它的动作。”该论文的共同作者在文章中解释道,“模型能有效地捕捉到人的动态和外观,生成角色的图像序列,生成的视频可以具有任意背景”。研究人员称该系统具有足够强的鲁棒性,可在动态背景下任意定位提取人物特征。

推荐阅读