逆天语言模型GPT-2最新开源:345M预训练模型和1.5B参数都来了( 三 )

就GPT-2而言,它的训练目标很简单:根据所有给定文本中前面的单词,预测下一个单词。

几天前,在此架构基础上改进得到的模型MuseNet,也能预测一段音乐中下一个音符是什么了,还用贝多芬的曲风续写阿黛尔的Someone Like You,让莫扎特续写披头士。

推荐阅读