中秋佳节,用 AI 为家人定制一首诗( 五 )

因此,要用人工智能的方法产生中国古典诗歌是比较复杂的。华为诺亚方舟实验室的科学家,通过研究给定形式和特定主题的诗歌生成问题,提出了基于预训练模型 GPT 的诗歌生成方法。

方法具体细节为:「乐府 AI」以 Transfomer 为基础模型,基于 BERT 源代码,实现了自己的 GPT 模型。其 Transformer 大小的配置与 BERT-Base 相同,还采用了 BERT 中发布的标记化脚本和中文词汇。对于文本生成,他们实现了截断的 top-k 采样来生成不同的文本。

中秋佳节,用 AI 为家人定制一首诗

三首「乐府 AI」生成的诗歌,与一首诗歌真迹

总的来说,「乐府 AI」学作诗一共分为以下三个阶段:

第一阶段:数据处理

华为诺亚方舟实验室的 GPT 模型,以中文新闻语料库进行训练,数据训练主要分为预培训和微调两个阶段。为了进行微调,他们收集了公开的中国古典诗歌,然后将样本诗转换为格式化的序列。

推荐阅读