2018 年 Top 10 影响力 AI 研究论文(12)_：2018年Top10影响力AI研究论文AI科技

「知道你不知道什么：SQuAD 中无法回答的问题」

论文地址

https://arxiv.org/abs/1806.03822

内容概要

斯坦福大学的一组研究人员们拓展了著名的斯坦福问答数据集 SQuAD，在其中增加了超过 5 万个无法回答的问题。这些问题的答案是无法从给出的文本段落中找到的，无法给出回答，但这些问题又和那些可以回答的问题看起来非常相似。更进一步的是，给出的文本段落中会含有仿佛相符但实际上并不正确的答案，这进一步提高了数据集的难度。升级后得到的 SQuAD 2.0 也就成为了现有顶尖模型的重大挑战：一个在原版的 SQuAD 上可以得到 86% 准确率的强有力的神经网络模型，如今在 SQuAD 2.0 上只能得到 66% 的准确率。

论文思想要点

目前的自然语言理解系统与真正的语言理解还相距甚远，其中一项根本原因就是目前的问答数据集都是仅仅针对「给出的文本段落里必然包含了正确答案」这一种情况设计的；为了让问答数据集变得真正有难度，「无法回答的问题」应当满足这两种条件：它们和给出的文本段落之间有一些联系；给出的文本段落中包含了看起来仿佛相符的答案，它包含的信息和提问想要获得的信息是同一类型的，但并不正确。领域内学者评价