腾讯提出NumNet＋模型，超越谷歌登DROP排行榜第一名( 五 )_图1

图6/9

NumNet 模型的框架

该模型由编码模块、推理模块和预测模块组成。数字之间的数学关系用图的拓扑结构来编码。例如，从 “6” 指向 “5” 的边表示 “6” 大于 “5”。推理模块利用数字感知的图神经网络对图进行数字推理。由于模型中明确地建模了数值比较，因此该模型对于回答需要数值推理的问题，如加法、计数或数字排序，更为有效。

NumNet+ 以发表在 EMNLP 2019 的 NumNet 模型 NumGNN 作为核心，结合 NAQANet 基础模块以及改进的前处理方法，在不使用 BERT、RoBERTa 等预训练模型的条件下，便获得了高达 67.97% 的 F1 值；进一步的，在 NumNet+ 模型中，我们融入了 RoBERTa 的能力以及对多 span 型问题的支持，最终获得了单模型 F1 值 82.99% 的效果。

DROP 数据集由 AI2 实验室提出，是一个类似于 SQuAD 的阅读理解 QA 数据集，但 SQuAD 很少涉及数学运算的问题，而 DROP 数据集专为考察模型去做涉及到数学运算问题的处理能力而设计。