华为开源预训练语言模型「哪吒」:编码、掩码升级,提升多项中文 NLP 任务性能( 四 )
预训练语言模型本质上 , 就是神经网络语言模型 。 它主要有两个特点 , 即:可以使用大规模无标注纯文本语料进行训练 , 以及可以用于各类下游 NLP 任务 , 各项性能指标均获得大幅度提高 , 并可以将各类下游任务的解决方案统一简化为集中固定的 fine-tune 框架 。
\n预训练语言模型通常有两个大类型 。 一类是 Encoder , 用于自然语言理解 , 输入整个文章 , 用于自然语言理解;另一类是 Decoder , 是解码式的 , 用于自然语言生成 , 只能来看到已经生成的内容 , 看不到没有生成的内容 , 这两类模型有所区别 。
\n更直观来看 , github 上来自清华大学的两位同学——王晓智和张正彦(在读本科生)整理的一份关于预训练模型的关系图 , 则可以从功能方面更简单明了的帮我们理解该类模型类别 。
\n预训练模型的关系图
\n更多详细内容 , 可参见 PLM 论文整理 Github 项目地址:
\nhttps://github.com/thunlp/PLMpapers
\n推荐阅读
- ig|UZI最新直播回复几个关键问题:加入IG,复出,训练赛?
- |我想打训练赛!Uzi表达复出渴望:我还热爱英雄联盟,还打得动
- 原神|T1再次证实FPX训练赛强,队内语音迟迟未放出,LNG也意难平!
- 清融|SK:estar是谁强谁上,2位中单都有训练,但清融没给千世任何机会
- 超级机器人大战30|猫神重新跟AG一队训练,瓜主剧透:AG若打不赢狼队,最初首发不保
- fpx战队|FPX训练赛很强是真的!T1教练揭露世界赛真相:EDG要比想象中更强
- t1|Faker第四冠来了?T1教练:明年必夺冠,EDG训练赛最强
- dota2|LEC赛区全军覆没,C9教练吐槽赛制:LCK战队不和LEC打训练赛!
- 曹志顺|hero双子星回归?久诚与最初首发,麟羽透露训练赛已“无敌”
- t1|半决赛揭幕战倒计时,两位T1老将懈怠训练,Khan全力以赴