原创<br> 重磅技术突破与豪取世界冠军后,加速度的百度大脑将如何支撑产业智能化?( 三 )

所谓模型泛化能力,也就是考察参赛团队模型对于未知数据的预测能力,这不仅提升了测试难度,也将过往只能停留在实验室特定场景的能力延伸到了工业界应用之中。

规则要求,参赛团队需要综合利用6个训练集训练一个统一的阅读理解模型,之后在12个分布各异的数据集上测试模型效果,其中包括6个在训练阶段完全没见过的未知来源数据集,简言之,它考验的是哪一支团队的模型具备真正落地的潜力。

百度在此次竞赛中采用「预训练-微调」的模型训练架构,整个过程中,百度飞桨(PaddlePaddle)起到重要作用,比如在利用大规模无标签语料对语言模型进行预训练的过程里,采用飞桨深度学习框架预训练模型,能够获得比官方基线更好的效果。

另外,该团队还将飞桨多任务学习框架应用到模型微调过程中,利用其它自然语言处理任务标注数据提升问答效果,同时还引入了防止灾难性遗忘的机制以及提升模型多领域适应性的机制,在提升模型速度的同时,也大大提升了问答的准确率。

原创<br> 重磅技术突破与豪取世界冠军后,加速度的百度大脑将如何支撑产业智能化?

推荐阅读