4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析

2021 年 4 月 24 日,中国航天日,《飞向月球》第二季终于揭开神秘面纱,震撼上线。距离第一季足足两年时间,令观众期待的除了人类对月球永无止境的探索梦想外,运用计算机图形和人工智能技术打造的全球首位“数字宇航员”带来的沉浸式视觉体验更是带给大家无限惊喜。
中央广播电视总台与万生华态EcoPlants联合出品的《飞向月球》第二季,全球首次将 AI 超写实数字人应用在4K 科学纪录片中,通过4K HDR、物理渲染、实时光追技术、灯光音效,创造出了极为可信的仿真现实。
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

为了还原出极为逼真的月球探索历程,万生华态EcoPlants在制作过程中运用的高精度3D扫描、面部捕捉、动作捕捉、实时渲染、AI表情算法优化等先进技术,占领视效创作制高点,着实惊艳到了众多航天迷及行业技术玩家。今天,就为大家带来此次制作的幕后揭秘及技术解析。
数字人科技革命进行时
对未来与生命的无限想象
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

△AI数字航天员,原型为央视主持人张腾岳
什么是数字人?是通过3D人物扫描建模、动作捕捉、绑定、解算渲染、语音合成等技术驱动,高度还原真实人类,并塑造可以实时互动、具有深度学习力的“人”。可以说,数字人是信息科学与生命科学融合的产物,利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。
实现高质量逼真的效果和自然流畅的互动是超写实数字人的目标,而许多国外工作室仅在一项或者两项技术方面十分擅长,想要集合所有技术进行效果实现,沟通成本与时间成本高昂,需要长期的配合。而在《飞向月球》(第二季)的制作过程中,我们打通了超写实数字人前中后期制作的全流程,并通过自研面捕头盔与AI算法,极大地提升了高保真人脸与面部微表情的捕捉与制作效率,在短时间内实现了对标游戏CG级别的数字人制作,真正做到全流程自主可控。本次制作仅花费 1 个月时间,实现了CG级别的数字人效果,高质量、快速地应用在国家级纪录片中。
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

技术核心
自主研发超高精度面部捕捉技术
《飞向月球》(第二季)作为超写实数字人在影视广播中应用的全流程落地项目,解决了高精度3D扫描、针对东方人的动态表情模型建立等诸多行业技术难点,为高保真数字人在多样化场景的应用拓宽了想象空间,这也依托了我们的核心技术优势:
△细腻的脸部和眼神捕捉
01.自主研发动捕头盔硬件,人体工学设计,还原逼真表情
Ecap由万生华态自主研发,可用于实现影视级别的面部动作捕捉。头盔硬件对面部肌肉运动进行实时和高精度跟踪与重建,准确还原出逼真细腻的面部表情,可用于影视特效、游戏和VR等行业应用。主要功能特点包括:
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

△动作捕捉与现场拍摄
02.自主研发的面部捕捉算法,全面捕捉各类面部表情动作,如瞳孔运动、皮肤运动、皮肤反射捕捉、细微皱纹等
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

△面部捕捉
03.实时虚拟人:实现实时面部动作与表情渲染,提供照片写实级逼真程度的虚拟人
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

4k|幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析】△单帧渲染
04.适合东方人的FACS系统,展现含蓄且丰富的微表情,可适配各类需求的表演风格
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

△利用blendshape对表情动画进行处理
高精度数字资产
虚拟仿真下万物互联的桥梁
“数字资产对实时渲染引擎来说,是一切可视化的核心。实时渲染引擎技术,是未来4K 超高清制作工艺的主流,其完善的资产平台给数字资源储备带来可能。” —中央广播电视总台 张家宁 《飞向月球》4K超高清纪录片实时渲染技术应用解析,2019
4k 幕后揭秘:《飞向月球》第二季全球首个数字宇航员技术解析
文章插图

△AI数字模型与PBR材质

推荐阅读