腾讯提出NumNet＋模型，超越谷歌登DROP排行榜第一名( 六 )_图1

图7/9

来自 DROP 数据集示例问题，涉及到数值比较。段落中突出的相关部分可用来推断答案。

除了最核心的 NumGNN 模块外，NumNet+还结合了预训练模型 RoBERTa。

具体来说，问题和文本进入模型后需要先进行 encoding，NumNet+ 中用预训练模型替换了 NumNet 中的未经过预训练的 Transformer 作为 encoder。

图8/9

从去年 10 月份到现在大家反复在证明的一件事情，即这种大规模的预训练模型是有能力从大规模的文本里面学到一定的语义和语法相关的知识的。同样的，通过把没有经过预训练的 encoder 换成经过预训练的 encoder，相当于它额外的以隐式方式注入了额外信息。所以，通过替换以后可以明显的进一步提升，这是它的主要好处。