华为推出AI诗人“乐府”：唐诗宋词都不在话下( 六 )

2019-09-08

在对联中，因为没有主题，就上句为主题，第二行为正文。所以，在生成对联的时候，就成了给出上联，生成下联的模式，也符合了“对对子”的习惯。

整体的数据集规模并不小，预训练用的中文新闻语料库，有2.35亿句子。微调用的数据集有25万绝句和律师，2万首词以及70万对对联。

预训练是在华为云上完成的，使用8块英伟达V100(16G) GPU训练了4个echo，一共耗费了90个小时。

微调的过程是将所有诗歌序列输入Transformer，并训练一个自回归语言模型。目标是观测任何序列的概率最大化：

微调的过程，不需要特别长的时间，如果训练过长，这个模型就在生成过程中，就会倾向于从语料库中直接用原始句子了。

训练完成后，先将要生成的诗歌的格式和主题转化为一个初始序列，然后将初始序列输入到模型中，然后对诗体部分的剩余字段按token进行解码。

推荐阅读

上一篇：iPhone 11背部Logo改为整体居中: 地主家都没有余粮, 还想反向充电?

下一篇：英国内阁又一大臣辞职在野党称约翰逊政府正在瓦解