华为开源预训练语言模型「哪吒」:编码、掩码升级,提升多项中文 NLP 任务性能( 十 )

\n

更多详情 , 可参见 NEZHA 论文地址:

\n

https://arxiv.org/pdf/1909.00204.pdf

\n

关于知识蒸馏模型 TinyBERT 详细解读 , 可参考往期内容:

\n

https://mp.weixin.qq.com/s/f2vxlhaGW1wnu8UYrvh-tA

\n

Github 开源地址(包含 NEZHA 与 TinyBERT ):

\n

https://github.com/huawei-noah/Pretrained-Language-Model

\n

点击“阅读原文” 查看NLP的游戏规则从此改写?从word2vec ELMo到BERT

推荐阅读