8 篇论文梳理 BERT 相关模型( 十 )
Full-Sentences：输入是一系列完整的句子，可以是来自同一个文档也可以是不同的文档；
Doc-Sentences：输入是一系列完整的句子，来自同一个文档；
结果发现完整句子会更好，来自同一个文档的会比来自不同文档的好一些，最终选用 Doc-Sentences 策略。
图13/23
表 4：RoBERTa 在更多训练数据和更久训练时间下的实验结果
作者还尝试了更多的训练数据以及更久的训练时间，发现都能提升模型的表现。
这种思路一定程度上与 OpenAI 前段时间放出的 GPT2.0 暴力扩充数据方法有点类似，但是需要消耗大量的计算资源。
3. SpanBERT: Improving Pre-training by Representing and Predicting Spans
推荐阅读
- 式神|阴阳师：（SSR篇）PVE向辅助式神梳理，御魂配置与阵容构建解析
- 崩坏3|崩坏3兔女郎事件后续梳理，玩家同意关国服，声优二创引争议
- 生化危机8|《生化危机 8：村庄》讲了什么？剧情故事完全梳理与背景解读
- 原神|经典游戏《豪血寺一族》关系梳理，剪不断理还乱的家族血统
- 阿轲|王者荣耀：S22更新思路梳理，版本之子已预定，阿轲胜率将猛升！
- 云计算需求提前大规模爆发，产业链公司梳理
- Berty发布gomobile-ipfs，手机端也可以直接访问IPFS网络！
- 论文查重选择合适软件需要看哪些方面
- 论文怎么免费查重找对软件才是关键
- 论文数据哪里找？这些网站不能少！