滴滴KDD 2019 论文详解：基于深度学习自动生成客服对话( 七 )_：滴滴KDD2019论文详解：基于深度学习

4. 训练与预测：

在训练阶段，Leader-Writer模型利用要点序列与对应的子摘要做为监督信息，学习模型参数。在预测阶段，Leader-Writer模型首先根据对话信息生成要点序列，然后根据要点序列的每个要点的解码状态生成最后的子摘要，最后拼接摘要后，获取最后的工单摘要。

实验与结果

我们对比了一系列的基于深度神经网络的文本摘要方案，包括：

基于LSTM的Seq2seq的文本摘要模型[2] ；基于LSTM+ Attention的文本摘要模型[3] ；基于Transformer的文本摘要模型[4] ；基于Pointer-Generator的文本摘要模型[5] ；以及基于Hierarchical Transformer的文本摘要模型。同时我们也实现了Leader-writer模型的三个变种，包括：

Hierarchical Encoder+Leader-net+Writer-net的网络架构（不考虑强化学习损失，Writer-net不引入Pointer Generator机制）；Hierarchical Encoder+Leader-net+Pointer Writer-net的网络架构（不考虑强化学习损失）；Hierarchical Encoder+Leader-net+Pointer Writer-net+Self-criticalloss的网络架构。通过实验，我们的Leader-Writer网络在工单摘要生成上取得了比目前领先方法更好的效果，同时我们生成的摘要在完整性和逻辑性上比对比方法效果更好；而在核心要点上的正确性，我们的方法在准确性上也优于对比方法。针对具有复杂逻辑的对话内容（即更长的要点序列），我们的方法也在总体摘要效果和完整性、逻辑性和正确性上远远优于对比方法的效果。