ACL 2019 | 使用元词改进自然语言生成( 三 )_：ACL2019|使用元词改进自然语言生成本

在生成响应前，编码器通过一个双向GRU将输入信息表示为一个序列，目标跟踪记忆网络由元词初始化得到。然后在响应解码时，状态记忆板跟踪元词的表达并由状态控制器更新。状态控制器从状态记忆板读出元词表达的状态，并通过通知解码器元词表达的状态和目标之间的差异来管理每个步骤的解码过程。基于消息表示，状态控制器提供的信息和生成的字序列，解码器可以对响应的下一个字进行预测。在模型学习过程中，本文在传统的似然目标之外增加了一个状态更新损失，以使得目标追踪能够更好地利用训练数据中的监督信号。

不仅如此，本文还提出了一个元词预测方案，从而使得整个架构可以在实际中使用。

2. 论文实验

本文以MMI-bidi、SC-Seq2Seq、kg-CVAE、CT等多个Seq2Seq模型作为基线，在Twitter和Reddit两个大规模数据集上考察了GTMNES2S生成回复的相关性、多样性、“一对多“关系建模的准确性、以及元词表达的准确性。