易坊好文馆

  1. 首页 > 玩科技 >

8 篇论文梳理 BERT 相关模型( 七 )

公平地比较 XLNet 与 BERT

为了更好地说明 XLNet 的优越性，XLNet 团队发表了开头提到的博文 “A Fair Comparison Study of XLNet and BERT”。

在这篇博文中，XLNet 团队控制 XLNet 的训练数据、超参数（Hyperparameter）以及网格搜索空间（Grid Search Space）等与 BERT 一致，同时还给出了三个版本的 BERT 进行比较。BERT 一方则使用以下三个模型中表现最好的模型。

8 篇论文梳理 BERT 相关模型

图9/23

实验结果如下。

8 篇论文梳理 BERT 相关模型

图10/23

表 1：XLNet 与 BERT 实验结果对比

从中可以看出，在相同设定情况下，XLNet 完胜 BERT。但有趣的是：

推荐阅读


上一篇：NeurIPS 2019论文盘点：谷歌系最多，国内清华第一

下一篇：非数据分析的16条建议，给抖音