虚拟选秀节目《Alter Ego》播出，AR表演到底有多好看 _评委

《好声音》、《蒙面歌王》这些音乐比赛，大家应该已经耳熟能详了，但你有看过用虚拟形象参加歌唱比赛的电视节目吗？
近期，曾举办美版《蒙面歌王》的Fox电视台，推出了一档基于AR和虚拟人像技术的“真人歌唱比赛”：《AlterEgo》。与《蒙面歌王》相比，《AlterEgo》不需要真人上舞台，选手在后台可以自己独立控制虚拟形象，最后获胜的选手才会与评委见面。观众和评委都是通过屏幕观看表演，舞台上没有人，只是通过AR将虚拟选手叠加在舞台上。实际上，以虚拟形象举办演唱会是疫情期间兴起的一种趋势，不过现在看来虚拟形象与现场真人观众、评委结合，效果看起来更加逼真。

文章插图

其形式类似于AR洛天依表演、英雄联盟K/DA表演等等，观众只能跟随现场直播摄像头的角度查看AR，AR表演显示在2D屏幕上。这与AR移动应用有所不同，观众不能通过移动手机来从多角度查看。
《AlterEgo》比此前大多数AR表演规模更大，时间更长，20名选手可分别在后台通过全身和面部动捕技术，来控制舞台上的AR来进行表演。在这个节目中，表演者可以扮成各种具有未来感的虚拟形象，比如蓝色皮肤、粉色头发等等，他们还可以做出摸头发等逼真的动作。
简单来讲，线上观众看到的《AlterEgo》节目是提前录制好的，但是在录制现场，观众和评委看到的AR形象是实时渲染的，由后台的选手用动捕控制。也就是说，我们在视频中看到评委看向舞台与选手对视，是因为评委在看舞台上视线高度的屏幕。而舞台上的主持人RocsiDiaz，几乎是唯一需要假装和空气说话的人，她表示：这就像是小时候跟想象中的朋友聊天一样，很有趣。
演出背后的技术
据了解，《AlterEgo》在舞台上配备了14台摄像机，其中8台采用了高端摄像头追踪技术。此外，摄影棚顶上设置了数千个红外光反射的标记（2.54x2.54厘米的银色方块），帮助摄像头定位。

文章插图

代表选手的虚拟形象由SilverSpoon设计，是根据选手的喜好为他们量身定做的。去年，SilverSpoon曾为美国职棒大联盟赛开发AR虚拟观众。除了SilverSpoon外，AR公司Lulu曾协助《AlterEgo》设计舞台布局。
在选手表演过程中，现场的摄像机实时定位舞台场景，并通过Unreal引擎在舞台上实时渲染和叠加AR虚拟形象。
《AlterEgo》创意制作人MichaelZinman表示：5年前，制片公司还不能做出这种实时渲染的AR舞台，这种技术从去年才开始初见成效，不过直到今年才达到优质效果。如果没有使用实时AR，而是采用后期制作，那将需要6个月时间完成。而现在，只需要三个月。尽管如此，在开拍之前，我们用了至少一年时间去开发节目中使用的技术。
近年来，3D图像渲染的质量在不断提升，因此《AlterEgo》的团队也利用最新的技术，为虚拟形象设计出更加逼真、自然的动态。比如：它们能够捕捉并模拟选手哭泣的表情，而且身上的反光、阴影，以及地上的影子等效果可跟随位置移动或光线变化而变化。
细节方面，选手在后台会穿上全身动捕装，面前还固定了用来追踪面部表情的手机，因此全身动作几乎都能模拟。因此，《AlterEgo》中虚拟形象的动作比以往技术看起来更有生命力，观众看起来不会很假。
在第一集中，有一个小细节，就是第二位选手胳膊上的文身是动态变化的，而这种效果是真人表演无法实现的。
与此同时，为了进一步提升AR与物理空间的融合，还需要避免真人伴奏、主持人与AR形象的位置关系。因为现有技术只能让AR位于最前端，因此物理场景中的人、物体在视觉上看起来都在AR后面，如果与实际位置关系出现偏差，会容易失真。于是在拍摄时，需要注意不要将表演者移动时与钢琴产生的重叠拍进去。此外，舞台上加入烟雾特效时，可能也会出现视觉上的位置不匹配。
虚拟形象可以解决表演者们此前无法上台表演的许多难题，比如：怯场、容貌/年龄焦虑、从演艺行业失业等等。Diaz表示：这种虚拟形象技术，将有望改变音乐表演行业。
人们的看法
对于这种全新形式的表演，《AlterEgo》的评委、选手和观众纷纷表达了与以往不同的感受。
比如，60岁的MatthewLord此前是茱莉亚歌剧中心的演员，后来他开始和乐队进行全国巡演，直到疫情终止了他的唱歌生涯，他只能以为工厂开卡车维生。来到《AlterEgo》后，他可以更加自信的继续唱歌，因为他不用因为自己的经历、自己的年龄而自卑，可以扮演蓝色的狼人来唱歌。他表示：我是光头，但是虚拟形象让我有了头发，即使我上了年纪，也能和其他年轻选手比赛。