伯克利AI研究院:强化学习是GPT2等自回归语言模型弥补不足的良方?( 三 )

伯克利AI研究院:强化学习是GPT2等自回归语言模型弥补不足的良方?

----伯克利AI研究院:强化学习是GPT2等自回归语言模型弥补不足的良方?//---- http://

伯克利AI研究院:强化学习是GPT2等自回归语言模型弥补不足的良方?

----伯克利AI研究院:强化学习是GPT2等自回归语言模型弥补不足的良方?//---- http://


编者按在过去的一年中 , 人们对文本生成模型的兴趣重新燃起 , 这在很大程度上要归功于GPT2(openAI设计的大规模非监督文本生成模型) , 它主要展示了使用更大模型、更大数据和更大计算量的Transformer架构的有效性 。 值得注意的是 , 在没有经过训练的情况下 , 该模型在几个语言建模数据集上就获得了SOTA结果 , 这显示了其惊人的泛化能力 。

推荐阅读