扎西平措|打造3D虚拟直播间，赋能B站UP主：虚拟制作技术到底有多厉害？｜GGV投资笔记第八十五期( 二 )_榜单|财富|远景科技集团|中国

文章插图
（网易大话西游盛典的虚拟场景应用）
就这样，我们逐渐确定了市场对实时的虚拟制作及交互类直播的需求。

文章插图
（为B站up主量身定制的虚拟舞台场景）
好莱坞大片的技术也可以平民化应用虚拟制作及交互并不是一个新概念，它是影视后期制作的一部分，包括我们很早就看到的电视台气象预报，体育赛事直播，以及电影或电视剧的绿幕制作部分。
但此前这些制作倚赖的软件和硬件成本都比较贵，大概几百万甚至上千万一套，而且使用要求极高，需要专业人才使用，并在使用中需要多次调试。
随幻科技的技术突破口在于加入了深度的实时虚拟系统，这套系统利用XR技术实时监测与分析虚拟空间，把人物行为与空间合二为一，使他们形成互动。
这其中突破了很多难点，比如实现了拍摄过程中的实时渲染，在此之前，建立在虚拟的三维场景下的拍摄内容往往需要后期团队在拍摄后完成。但是随幻的方式是首先将用算法把三维信息与空间信息全部重建，然后通过实时计算，与一个虚拟的三维场景融合在一起，让从绿幕里抠出的人物与虚拟三维里面的所有深度信息全部都结合。在算法的赋能下，这种操作非常简单，不需要由摄像师扛着机器跟拍，阴影等效果都可以被自然显示出来。
这带来了新的可能：执行导演在“横店”拍戏时，制片或美术指导可以在北京或者上海远程地实时看到云端已经合成的画面。很多影视行业工作者以往只能在后期制作之后才看到合成后的绿布景戏，而且是先拍摄再看后期，导演不满意的部分又需要重新拍摄，不仅周期长，而且效率低。如今他们把自己对于运镜角度、镜头轨迹等各方面的建议直接与现场人员实时沟通，一些合作伙伴甚至把我们称为“云上‘横店’”。

文章插图
（虚拟制作在影视拍摄里的应用）
另外，以往的绿幕和场景结合很容易产生“穿模”，在镜头里一个人走过去，一片树叶甚至会穿过他落下来，随幻不仅解决了这样的技术bug，并且依靠算法形成了游戏化的交互方式，例如可以允许观众在观看的时候实时打赏，在我们为中国好声音总冠军扎西平措制作的虚拟MV中，打赏的金币甚至会作为真正的金子落在扎西平措的身上。

文章插图
（随幻科技制作的虚拟MV）
为了实现这样的技术效果，随幻科技搭建了一个合作机制：开发者组成的“技术团队”与内容创造者组成的“内容团队”共同完成开发。随幻的内容团队普遍来自导演、策划、艺术、美术等行业，他们根据影视行业的需求，持续输出策划与意见，改进开发的方向与细节。
我一直认为，只有实现快速创建各种三维场景才能迅速被市场接受，随幻为了提高效率，特意搭建了一套像积木一样的内容创造引擎，其中含有很多场景的内容模板，用户可以很容易上手就能进行二次编辑，轻易地修改不同的形状或颜色，形成自己的直播风格。我们的目标是，让即使是影视行业之外的用户，在经过一些培训之后也能迅速学会操作。
降低成本，提高效率极力赋能行业实际上，我们实现“轻便化”的真正目的，是将虚拟直播的使用成本降低。在和湖南卫视、B站、腾讯、阅文集团等客户合作的过程中，我们发现，在他们的产品计划中，科幻、玄幻类占有很大比重，他们也渴望将海量优质IP以影视剧的方式呈现，而这类题材通常需要大量的虚拟背景素材。而在疫情的影响下，他们更加非常希望可以减少拍摄与后期的时间成本，并且实现远程拍摄。