华为开源预训练语言模型「哪吒」：编码、掩码升级，提升多项中文 NLP 任务性能( 三 )_作者|杨鲤萍\n编辑|唐里\n一个月前

http://

作者 | 杨鲤萍

编辑 | 唐里

一个月前，在「AICon 全球人工智能与机器学习技术大会」上，华为诺亚方舟实验首席科学家刘群刚分享了新发布的中文预训练语言模型 NEZHA（哪吒）；就在这两天， NEZHA 已在 Github 上开源，同时开源的还有压缩 BERT 模型「TinyBERT」，它在推理时大小可缩小 7.5 倍，并且速度加快 9.4 倍。

可以看到的是近两年预训练模型的发展非常快速，从 Word2Vec 到 ULMFiT、CoVe 再到 BERT、XLNET 等，都各有特点且在不断完善中。聚焦于「多项中文 NLP 任务性能」的 NEZHA 也有亮眼的性能升级。在此，我们将 NEZHA 详细内容及 TinyBERT 相关地址整理如下。

NEZHA 开发背景 \n