面对内容理解的准确性和效率问题，facebook是这样利用自我监督技术的(11)_雷锋网AI科技评论按

在使用两个卷积神经网络对原始的、未标记的音频数据预先生成模型后，系统进行了优化，以解决越来越困难的任务：在不同的时间点预测音频，其中，箭头指示对未来的预测。

一旦这个经过预训练的自我监督模型对语音有了很强的理解，我们就使用少量的监督数据——80 小时的转录音频来训练最终的语音识别系统。我们的系统使用的标签数据比之前最好的系统 Deep Speech 2 少 150 倍，同时将错误率降低了 9%。这项工作使我们能够快速地将语音识别能力扩展到更多的语言，而不需要在每种语言中都有大量的转录语音。

这两种方法都侧重于语音和语言理解，但它们也代表了我们如何探索甚至结合不同程度的数据监督的更基础的转变。这包括利用大量未标记的训练数据，以及使用少量标记的数据来释放自我监督系统的巨大潜力。在所有与人工智能相关的任务中，越来越强调自我监督，但没有一项任务比提高我们产品的安全性更重要。

雷锋网雷锋网