面对内容理解的准确性和效率问题，facebook是这样利用自我监督技术的( 十 )_雷锋网AI科技评论按

为了预测每个隐藏的单词，我们使用双向变换网络，通过计算句子的前向和后向状态——即隐藏单词右侧和左侧的单词——来模拟句子的其余部分，然后结合这些表示来确定隐藏单词。一旦系统以这种未标记的方式进行了训练，我们就可以使用标记的数据为特定任务（如识别欺凌性言语）对其进行微调。在内部测试中，这种自我监督和监督训练的结合使用使得我们可以用比有监督少 10 倍的数据进行训练，却能获得与有监督模型相近的精度，或者在使用相同数量的训练数据的情况下减少 20% 的错误。

我们还利用自我监督训练来提高语音识别能力。我们创建了一个音频剪辑的几个版本，其中某些版本的一部分已被更改，模型必须确定哪一个版本是正确的。在这里，只使用原始音频作为输入，没有转录或其他标签。

对于这种方法，我们使用了两个叠加在一起的网络：一个编码器网络，它将原始音频映射到时间频率较低的特征表示；一个上下文网络，它预测正确的音频。为了使训练任务更有效，我们要求上下文网络对未来进行更加深入的预测，从而使预测问题变得越来越困难。