微软最新通用预训练模型MASS，超越BERT、GPT！

2019-05-10

图1/12

新智元推荐

来源：微软研究院AI头条(ID: MSRAsia)

作者：谭旭

【新智元导读】微软亚洲研究院的研究员在 ICML 2019 上提出了一个全新的通用预训练方法 MASS，在序列到序列的自然语言生成任务中全面超越 BERT 和 GPT。本文带来论文作者的技术解读。

从 2018 年开始，预训练（pre-train）毫无疑问成为 NLP 领域最热的研究方向。

借助于 BERT 和 GPT 等预训练模型，人类在多个自然语言理解任务中取得了重大突破。然而，在序列到序列的自然语言生成任务中，目前主流预训练模型并没有取得显著效果。

为此，微软亚洲研究院的研究员在 ICML 2019 上提出了一个全新的通用预训练方法 MASS，在序列到序列的自然语言生成任务中全面超越 BERT 和 GPT。在微软参加的 WMT19 机器翻译比赛中，

推荐阅读

上一篇：宜家又新出一批家居，老婆立马买回了家！厨房瞬间新潮又整洁

下一篇：竞争对手围追堵截，IPO是Uber的一剂良药吗？