伯克利AI研究院：强化学习是GPT2等自回归语言模型弥补不足的良方？( 四 )_编者按在过去的一年中

然而这些模型也显示出一些缺陷，并且这些缺陷可能无法仅通过扩大模型（更大的模型、数据、计算量）来弥补。在这篇文章中，我们将快速概览其中的一些缺陷并尝试解决这些问题，并在此基础上讨论未来研究的一些潜在方向。

作者 | 伯克利AI研究院官博（BAIR）译者 | 凯隐，责编 | 夕颜

以下为译文：

随着GPT2的成功，其他一些实体也加入了这一潮流，并发布了自己的大型单向语言模型，例如Grover ， Nvidia的Megatron-LM和Salesforce的CTRL 。且不说OpenAI声称该模型“太危险而不能发布”而引发的争议， GPT2生成的文本从各方面来看都要比以前的文本生成模型好很多。

什么是自回归语言模型？为何这种模型很重要？

语言建模的核心问题是使用参数化函数逼近英语(或Lojban ， Navajo ， Python等) 中自然语言序列的分布。为了让建模更加灵活，自回归语言模型中将理想模型表示为：