腾讯提出NumNet＋模型，超越谷歌登DROP排行榜第一名( 七 )_图1

微信团队表示，这项研究最困难的阶段是对问题的定义和抽象的阶段，他们花了很长时间根据数据集所定义的问题提出假设，又花了很长时间通过各种推算方式验证这些假设是不是对的。中间还花了大量的精力做数据的预处理和提升，因为提前做了很多分析、假设和验证的工作，最后在模型最终验证阶段还比较顺利。

而对于数字离散推理，当前充分显示出来很强的文本理解能力的模型一般都是基于神经网络的，但神经网络很不擅长处理离散符号相关的问题。传统的方法相对来讲处理会更容易一些，但对于文本，特别是复杂文本的理解上就比较欠缺。最大的挑战在于如何把这两方面能力更好地结合起来。

下面是新智元对微信 AI 团队的采访：

专访微信AI：机器阅读理解今年最大突破是预训练模型

新智元：在 SQuAD 数据集上，谷歌的 ALBERT 等模型已经超越了人类的表现，但在 DROP 排行榜看来，AI 距离人类的水平 (F1 96.42%) 似乎还很远，是否 DROP 的阅读理解任务更难？体现在哪些方面？

从学术发展现状来看，现在神经网络模型比较擅长做分类、模式识别等等相关工作，一旦涉及到数学运算，就会涉及到具体符号的操作。这种操作虽然之前也有一些工作在关心这个问题，但是因为用神经网络建模这类问题相对来讲还是比较难，现在大家还没有特别公认的非常成熟的建模手段。所以现在还在探索阶段，就没有之前 SQuAD 上面定义的那类问题那样有相对成熟的解法了。