华为推出AI诗人“乐府”：唐诗宋词都不在话下( 五 )
这背后的能量来自GPT，一个由OpenAI提出的预训练自然语言模型，核心理念是先用无标签的文本去训练生成语言模型，然后再根据具体的任务通过有标签的数据对模型进行微调。
乐府AI是首个基于GPT打造的作诗系统，而且与谷歌提出的BERT息息相关。
整体的GPT模型是在BERT的源代码基础上实现的，Transformer大小的配置与BERT-Base相同，也采用了BERT中发布的tokenization脚本和中文 vocab。
具体来说，训练诗歌生成模型的过程如下：
整个模型训练过程一共有两个阶段: 预训练和微调。
华为的这个GPT模型，是用一个中文新闻语料库进行预训练的，然后通过收集了公开可得的中国古诗词进行微调。
如上图所示，首先将示例诗歌转换为格式化序列。序列包括三个主要部分：格式、主题和诗体，中间用标识符分开。
推荐阅读
- 地下城与勇士|DNF即将推出手游，已进入倒计时，炽天使觉醒将更名光明颂唱者
- nest|自走棋出现近3年之后，Supercell推出了自己的自走棋新品
- 新世界|游戏推出一个多月就在研究合服，《新世界》如今情况如何？
- 永劫无间|《永劫无间》新英雄\岳山\在测试服推出，游戏性能进一步提升
- 大话西游|大话西游2近几年推出的新玩法效果如何？基本和普通玩家无关
- 王者荣耀|魔兽世界：新总裁要让WOW重新伟大！9.15推出超多良心改动
- 镇魔曲|网易爆款游戏《镇魔曲》
- 史诗之路|DNF：神话自选来了！策划推出“超级深渊”，欧皇可获得全身红10
- 蓝洞|跌落神坛？蓝洞耕耘四年推出吃鸡后新作，画面却像网页小游戏
- 逆水寒|世纪佳缘名声坐实后，逆水寒又对标QQ？推出隐身功能引玩家热议