8 篇论文梳理 BERT 相关模型(14)_图1

Student 则去拟合 target Q，并且使用 soft 交叉熵损失（Cross Entropy Loss）。为什么使用 soft 交叉熵损失呢？因为有些句子的意思可能并不是绝对的，比如 “I really enjoyed the conversation with Tom" 有一定概率说的是反语，而不是 100% 的积极意思。这样能让 Student 学到更多的信息。

采用知识蒸馏后，模型在 GLUE 中的表现增长了 1%，目前排名前三。我们还可以期待 MT-DNN 机制在 XLNet 上等其他预训练模型中的表现。

对 BERT 在部分 NLP 任务中表现的深入分析

上文的 BERT 在 NLP 许多任务中都取得了耀眼的成绩，甚至有人认为 BERT 几乎解决了 NLP 领域的问题，但接下来的两篇文章则给人们浇了一盆冷水。

1. BERT 在 Argument Reasoning Comprehension 任务中的表现

Probing Neural Network Comprehension of Natural Language Arguments