滴滴KDD 2019 论文详解：基于深度学习自动生成客服对话( 六 )_：滴滴KDD2019论文详解：基于深度学习

2. 要点序列生成网络（Leader-net）

要点序列生成器（Leader）是一个标准的Transformer解码器，以要点序列做为监督信息，根据对话信息解码要点序列。在损失函数中，我们同时考虑了交叉熵损失和自我批判的（self-critical）[1] 的强化学习损失。

3. 子摘要生成网络（Writer-net）

子摘要生成器（Writer）则是考虑指针机制（Pointer-generator）的Transformer解码器。通过指针机制，子摘要生成器可以拷贝原始对话中的部分信息，例如数字和电话号码等。需要注意的是，由于模型中采用了层次化编码器对对话进行编码，在指针机制中，为了保证能选择到对话中的词，需要考虑层细化的指针机制。要点序列中的不同位置可能具有相同的要点，例如“问题描述 -> 解决方案 -> 不认可 -> 解决方案 –> 认可”中，两个“解决方案”对应的子摘要内容不同。为了解决该问题，我们采用要点序列生成器的解码状态作为子摘要生成器的解码起始状态。基于多任务学习的设置，我们独立了考虑了要点序列生成和子摘要生成的损失。