滴滴KDD 2019 论文详解：基于深度学习自动生成客服对话( 五 )_：滴滴KDD2019论文详解：基于深度学习

模型通过对辅助要点序列的学习，可保证生成的工单摘要的完整性、逻辑性与正确性，保证工单摘要的质量；辅助要点序列的词典集合小（滴滴场景下为51），序列长度一般较短（不超过10），容易生成准确的要点序列；生成每个要点的子摘要，其长度也要显著短于完整摘要，可提高摘要的质量。Leader-Writer网络

基于辅助要点序列，我们提出了Leader-Writer网络来解决工单摘要生成问题。具体而言，Leader-Writer网络具有层次化对话编码器 (Hierarchical Transformer Encoder)，要点序列生成网络 (Leader-net) 和子摘要生成器 (Writer-net)，并基于要点序列生成和子摘要序列生成的交叉熵损失和强化学习损失函数进行联合训练。图2是模型网络结构图，接下来分模块介绍其实现过程。

图2：Leader-Writer网络架构图

1. 层次化对话编码网络(Hierarchical Transformer Encoder)

层次化对话编码器包括词级别（token-level）和句子级别(utterance-level)的编码器，词级别的编码器通过Transformer编码每一句对话中的单词的embedding进行编码并通过注意力机制（attention）聚合得到每句话的表示；句子级别的编码器也是一个Transformer编码器，通过编码聚合的句子表示，获取上下文相关的句子表示，并作为解码部分中对话信息的表示。这里句子级别的编码器引入了相对位置embedding，相对于传统Transformer模型采用的绝对位置embedding使整体效果提升。