腾讯云+FFmpeg打造一条完备高效的视频产品链( 四 )

当场景识别、前置处理和编码算法动态优化三部分做完之后,我们可以得到一些基本的结论,由于直播客户更在意主观质量,明眸以VMAF为目标做开发。简单提及一下,腾讯云在对VMAF和PSNR做比较时发现,如果VMAF的分数在70分左右甚至更高,VMAF的分数会与PSNR正相关,倍数关系大概在2.5-3倍之间,反之,我们也发现,PSNR分数比较高时,VMAF的分数不一定高,所以我们认为,以VMAF为目标的优化也大概率的涵盖了PSNR的目标值。明眸可以在相同码率下将VMAF评分提升10+,同VMAF分下码率节省可以达到30%左右。当然VMAF也存在一些问题,比如对小分辨率的适配并不是很好,这可能与Netflix自身由点播内容居多,并且片源的质量都非常高有关。

1.2 智眸:智能媒体生产平台

腾讯云+FFmpeg打造一条完备高效的视频产品链

从上图可以看到目前视频AI比较通用的流程,视频源从左向右边,解码之后如果要做对象探测会有一个Scale和CSC,如果做Tracking会向下走,如果做ROI coordinates会向上进行正常的解码。这个流程图看似简单,但在工程中需要各种各样的考量,其中的每一个点都可能会成为潜在的性能瓶颈。

推荐阅读