中秋佳节，用 AI 为家人定制一首诗( 六 )

2019-09-14

数据训练过程

第二阶段：模型训练

接着，他们在云服务上预训练了其 GPT 模型，包含一个新闻语料库，这一过程花费了 90 个小时。然后用 8 个 NVIDIA V100（16 GB）训练了 4 个阶段。

训练完成后，进行微调，将所有诗歌训练序列输入 transformer，并训练自动回归语言模型，以观察任何序列的概率最大化 X：

第三阶段：诗歌生成

训练完成后，便应用该模型，根据要求生成特定主题的诗歌。

他们首先将形式和主题转换为[形式，标识符 1，主题，标识符 2 ]的初始序列，然后将初始序列给到模型，并对主体字段逐个进行解码。

在解码过程中，并不需要硬约束来保证形式的正确性。相反，该模型能够在解码时，自动分配逗号和句号的位置。当完成诗歌的生成时，会以「EOS」的 token 来结束这一过程。

推荐阅读

上一篇：华为跳水冠军诞生，不到一年“暴跌”1700元，依旧无人买！

下一篇：扫地机器人怎么使用及扫地机器人十大排名品牌对比