面对内容理解的准确性和效率问题，facebook是这样利用自我监督技术的( 三 )_雷锋网AI科技评论按

为了帮助弥补训练数据的不足，我们正在改进我们最近开源的工具包「LASER」，它可以通过训练一个模型来理解各种语言。在以前，当我们需要为每种语言使用不同的模型时，LASER 的表示空间允许我们用一种语言进行训练，而不需要特定语言的训练数据。在训练之后，我们可以将模型应用于一系列语言，也不需要翻译它们，这称为「零样本迁移学习」。LASER 也让我们在语言未知的表示空间内，将那些彼此更接近的句子进行映射，来识别意思相似的句子。

对于希望增加系统能够理解的语言数量的研究人员来说，像这样的跨语言技术提供了一种更具可扩展性的替代方法去尝试收集和注释每种语言中的数据。这种方法还允许我们为机器翻译挖掘并行训练数据，特别是对于低资源语言（也就是训练示例较少的语言）非常有用。跨语言识别相似的句子有助于在多种语言中同时捕获相似的违规行为。为了生成每个句子层面的嵌入，我们首先使用字节对编码表示给定句子的单词，然后使用五层双向 LSTM（长短期内存）模型，紧接着使用 max pooling（因为句子包含的单词数目是不定的）。

通过大规模的训练这个系统——包含 93 种语言，这些语言隶属于 30 多个语言家族，用 22 种不同的脚本编写而成，我们能够获得未知语言的句子嵌入，并且其支持自动检测违反政策内容的能力对于低资源语言尤其重要。