伯克利AI研究院：强化学习是GPT2等自回归语言模型弥补不足的良方？( 八 )
总结
虽然最近的工作已经证明由于模型大小的增加 ， 神经文本生成的质量有了巨大的改进 ， 但是曝光误差的问题仍然存在于生成的长序列文本中 。 这方面的进展可能需要从强化学习的工作中吸取经验 。 事实上 ， 在强化学习和语言建模的相互结合这个思路上 ， 已经出现了许多有前途的工作 。 希望这些改进的语言模型不仅是在单个段落的尺度内 ， 也可以在整篇文章的范围内与人工文本一较高下 。
参考链接
GPT2:
“The Curious Case of Neural Text Degeneration”:
“Neural Text DeGeneration with Unlikelihood Training”:
原文链接：
推荐阅读
- 腾讯|腾讯49亿日元投资目标明确：3款新游明后年全球发行，强化主力IP
- s6|金铲铲之战S6：值得改变阵容的海克斯强化介绍，让你如虎添翼
- 假面骑士|假面骑士revice强化形态印章玩具实物公开 一辉：我要打三个干部
- s6|金铲铲之战s6测试服：海克斯强化有多爽？超肉坦克也能成为大杀器
- 法术|双城之战：羁绊、海克斯强化、装备一文看懂
- 地下城与勇士|DNF：狂人赞助强化毁区！诞生2把16武器，号主选择继续上17
- 精灵宝可梦|《宝可梦》经常被玩家忽略的免疫特性，食草能视为强化手段来用？
- 地下城与勇士|DNF这游戏的刺激点太多，翻牌开盒子强化增幅，深渊闪光
- 假面骑士|假面骑士revice追加情报：强化形态对标闪耀蝗虫 二骑和疾符有关
- 天龙八部|新天龙八部：强化活动来袭，又准备氪多少，还是白嫖稳妥