华为推出AI诗人“乐府”:唐诗宋词都不在话下( 七 )

在解码过程中,并不使用硬约束来保证格式的正确性,而是让模型自动为特定位置分配逗号和句号,在识别到token为“EOS”的时候,解码过程结束。

而且,采用截断 top-k 抽样策略来获得不同的诗歌,而不是束搜索。具体是每次采样一个Token时,首先选择具有 top-k 最大概率的Token,然后从 top-k Token中采样一个特定的token。

他们说,即使采用截短的 top-k 抽样策略,生成的诗歌仍然是正确的形式。

论文中介绍称,训练藏头诗的方法也是这样,只是在格式化序列的时候方法有所不同:用每一行中第一个字符的组合来代替一首诗的原始主题:“五言绝句(格式)床疑举低(藏头诗)床前明月光,疑…月,低头思故乡。”

效果如何,华为也在论文中进行了充分的展示,比如下面这四首“江上田家”,只有一首是唐朝诗人写的,其他三首都是来自乐府AI。

华为推出AI诗人“乐府”:唐诗宋词都不在话下

从上到下,ABCD,你能辨别出来哪个是真迹吗?(答案在文末揭晓)

推荐阅读