原创<br> 8种优秀预训练模型大盘点，NLP应用so easy！( 十 )

2019-04-01

研究论文

https://arxiv.org/abs/1901.02860

GPT-2模型（OpenAI）

这是一个十分有争议的模型，一些人会认为GPT-2的发布是OpenAI的营销噱头。我可以理解他们的想法，但是我认为至少应该要先对OpenAI发布的代码进行尝试。

首先，为那些不知道我在说什么的人提供一些背景信息。OpenAI在2月份发表了一篇博客文章，他们声称已经设计了一个名为GPT-2的NLP模型，这个模型非常好，以至于担心被恶意使用而无法发布完整的版本，这当然引起了社会的关注。

GPT-2经过训练，可以用来预测40GB的互联网文本数据中的下一个出现的词。该框架也是一个基于transformer的模型，而这个模型是基于800万个web页面的数据集来进行训练。他们在网站上发布的结果简直令人震惊，因为该模型能够根据我们输入的几个句子编写出一个完整的故事。看看这个例子：

推荐阅读

上一篇：第11批游戏版号下发：67款游戏获批腾讯网易继续缺席

下一篇：OPPO Reno最大亮点均是它拍摄技术真的可以带动手机行业？