8 篇论文梳理 BERT 相关模型(16)
作者尝试使用 BERT 处理该任务，调整输入为 [CLS，Claim，Reason，SEP，Warrant]，通过共用的 linear layer 获得一个 logit（类似于逻辑回归），分别用 warrant0 和 warrant1 做一次，通过 softmax 归一化成两个概率，优化目标是使得答案对应的概率最大。
最终该模型在测试集中获得最高 77% 的准确率。需要说明的是，因为 ARCT 数据集过小，仅有 1210 条训练样本，使得 BERT 在微调时容易产生不稳定的表现。因此作者进行了 20 次实验，去掉了退化（Degeneration，即在训练集上的结果非常差）的实验结果，统计得到上述表格。
图20/23
表 6：作者的探索性实验（Probing Experiments）
虽然实验结果非常好，但作者怀疑：这究竟是 BERT 学到了需要的语义信息，还是只是过度利用了数据中的统计信息，因此作者提出了关于 cue 的一些概念：
A Cue's Applicability：在某个数据点 i，label 为 j 的 warrant 中出现但在另一个 warrant 中不出现的 cue 的个数。
推荐阅读
- 式神|阴阳师：（SSR篇）PVE向辅助式神梳理，御魂配置与阵容构建解析
- 崩坏3|崩坏3兔女郎事件后续梳理，玩家同意关国服，声优二创引争议
- 生化危机8|《生化危机 8：村庄》讲了什么？剧情故事完全梳理与背景解读
- 原神|经典游戏《豪血寺一族》关系梳理，剪不断理还乱的家族血统
- 阿轲|王者荣耀：S22更新思路梳理，版本之子已预定，阿轲胜率将猛升！
- 云计算需求提前大规模爆发，产业链公司梳理
- Berty发布gomobile-ipfs，手机端也可以直接访问IPFS网络！
- 论文查重选择合适软件需要看哪些方面
- 论文怎么免费查重找对软件才是关键
- 论文数据哪里找？这些网站不能少！