面对内容理解的准确性和效率问题，facebook是这样利用自我监督技术的( 九 )_雷锋网AI科技评论按

实际上，这曾经只是我们人工智能团队的一项策略性研究，而最近它已经转变为为团队提供强大的内部结果的系统，一些自我监督的语言理解模型不断击败使用传统的、有监督的方法进行训练的系统。具体来说，我们已经开发了一些模型，可以通过在给定信号的一部分上进行训练来预测给定信号的另一部分。

例如，我们训练了这些自我监督系统中的一个，通过在句子中隐藏单词来更好地理解语言，即使模型以前从未见过原来的句子。如果有一个短语，比如「A conversation about ________ and human connection」，人们可以很容易地猜出几个词来填补这个空白。但这项任务对人工智能来说更具挑战性。这是一个有用且可扩展的训练任务的基础，和谷歌引入的 BERT 模型所解决的任务类似。我们可以依次删掉句子中的每个单词，然后在 10 亿个单词的数据集上重复这个过程，且这些单词不需要进行标记。