8 篇论文梳理 BERT 相关模型(21)
因此作者在训练集中加入了一定的 HANS 数据，构造了 MNL + 数据集，让模型在该数据集微调，最终获得了如上图所示的结果。为了证明 HANS 对模型学到 NLI 的贡献，作者还让在 MNL + 上微调的模型在另一个数据集中做了评测，模型表现都有提升。
总结
本文总结了 BERT 提出以来一些最新的发展。
BERT 是一个优秀的预训练模型，它的预训练思想可以用来改进其他模型。BERT 可以更好，我们可以设置新的训练方式和目标，让其发挥更大的潜能。
但 BERT 并没有想象中的那么好，我们必须冷静对待 BERT 在一些任务中取得不错表现的原因 —— 究竟是因为 BERT 真正学到了对应的语义信息，还是因为数据集中数据的不平衡导致 BERT 过度使用了这样的信号。
版权声明：本文仅代表作者观点，不代表手机腾讯网立场。版权归自媒体所有，未经许可不得转载。
推荐阅读
- 式神|阴阳师：（SSR篇）PVE向辅助式神梳理，御魂配置与阵容构建解析
- 崩坏3|崩坏3兔女郎事件后续梳理，玩家同意关国服，声优二创引争议
- 生化危机8|《生化危机 8：村庄》讲了什么？剧情故事完全梳理与背景解读
- 原神|经典游戏《豪血寺一族》关系梳理，剪不断理还乱的家族血统
- 阿轲|王者荣耀：S22更新思路梳理，版本之子已预定，阿轲胜率将猛升！
- 云计算需求提前大规模爆发，产业链公司梳理
- Berty发布gomobile-ipfs，手机端也可以直接访问IPFS网络！
- 论文查重选择合适软件需要看哪些方面
- 论文怎么免费查重找对软件才是关键
- 论文数据哪里找？这些网站不能少！