8 篇论文梳理 BERT 相关模型(19)_图1

这是另一篇对 BERT 等模型在自然语言推理（Natural Language Inference，NLI）任务中表现的探讨。

图22/23

图 12：NLI 任务中 Heuristic 示意图

作者首先假设在 NLI 中表现好的模型可能利用了三种 Heuristic，而所谓的 Heuristic 即在 Premise 中就给了模型一些提示，有如下三种：

Lexical Overlap：对应的 Hypothesis 是 Premise 的子序列

Subsequence：对应的 Hypothesis 是 Premise 的子串

Constituent：Premise 的语法树会覆盖所有的 Hypothesis

基于这个假设，作者也做了实验并观察到，MNLI 训练集中许多数据点都存在这样的 Heuristic，且对应的选项是正确的数量远多于不正确。针对这种情况，作者构造了 HANS 数据集，均衡两种类型样本的分布，并且标记了 premise 是否 entail 上述几种 Heuristic。

8 篇论文梳理 BERT 相关模型(19)