Google推出了AI产生的音频和视频质量的新指标

很多文章的报道都是由微观而宏观，今日小编讲给大家带来的关于Google推出了AI产生的音频和视频质量的新指标的资讯也不例外，希翼可以在一定的程度上开阔你们的视野！y有对Google推出了AI产生的音频和视频质量的新指标这篇文章感兴趣的小伙伴可以一起来看看
Google AI研究人员公布了两个用于衡量深度学习网络生成的音频和视频质量的新指标，即Fréchet音频距离(FAD)和Fréchet视频距离(FVD) 。度量已显示与质量人工评估高度相关。

文章插图
在最近的博客文章中，软件工程师Kevin Kilgour和Thomas Unterthiner描述了他们的团队所做的工作，这些工作是建立在先前对测量神经网络生成的图像质量的研究的基础上的。这些团队展示了他们的新指标如何分别检测添加到声音或视频中的噪声，以及如何通过人工评估声音或视频质量对指标进行跟踪。FAD是通过对失真音频样本对的序列进行排序来评估的，其选择与人类推断的相关性为0.39 。通过对由深度学习模型生成的视频对进行排名，对FVD进行了类似的评估。根据所使用的生成标准，它与人类排名一致同意在60%至80%之间。

文章插图
深度学习模型的成功在一定程度上受到诸如ImageNet之类的大型高质量数据集可用性的推动。这些数据集还提供了“基础事实”，可以据此评估模型。深度学习在生成新图像方面的最新流行应用提出了一个新问题：如何衡量输出的质量?由于没有针对这些网络生成的图像或其他数据的“地面真实性”答案，因此无法应用诸如信噪比或均方误差之类的通用指标。
由于目标是创建看起来或听起来对人类真实的输出，因此可以由人类法官对数据进行评分，但是这既不是可扩展的，也不是客观的。GAN的发明者提出的初始指标是初始得分 (IS) 。通过将预训练的Inception图像分类器应用于图像并计算结果统计信息来计算此指标。该度量标准“与用于训练生成模型的目标紧密相关”，并且已证明与人类对质量的推断高度相关。

文章插图
但是，初始得分指标确实存在一些不足;特殊是，它对所使用的基础Inception模型的更改很敏感。Unterthiner和其他人在奥地利约翰内斯·开普勒大学的LIT AI实验室开辟了Fréchet起始距离(FID) 。FID使用Inception模型的隐藏层来计算输入图像的嵌入，而不是使用Inception模型的分类输出。为一组生成的图像和一组真实世界(或基线)图像计算嵌入。将所得数据集视为由多元高斯分布生成的数据，并使用弗雷谢特距离比较这两个分布。与IS相比， FID相对于IS的一个优势是，随着将噪声添加到图像，FID会增加，而IS可能保持平整甚至降低。
【Google推出了AI产生的音频和视频质量的新指标】Google的新指标扩展了这种思想，即为生成的数据计算嵌入并将统计数据与基准数据进行比较。对于FAD，团队使用 VGGish来计算嵌入，而对于FVD，则使用 Inflated 3D Convnet 。为了验证度量标准的有效性，研究人员计算了通过向基线添加噪声而创建的数据集的度量标准值。期望随着噪声的增加，分数会增加，这的确发生了。该团队还将他们的度量结果与人类评估进行了比较，发现了他们的度量与人类推断之间的相关性，并且他们的新度量与人类法官的共识比其他常用度量更为一致。