AI研究人员推出更严格的SuperGLUE语义理解基准测试( 二 )_：AI研究人员推出更严格的SuperGLUE语

发展到现在的 SuperGLUE，它能够评估比 GLUE 更复杂的任务表现，鼓励构建能够账务更复杂或细微差别的语义理解模型。

据悉，GLUE 能够根据 AI 对自然语言理解（NLU）系统给出的九个英语短句的识别处理表现，而给出该模型的分值，比如在线影视评论数据集中提取情感细节的斯坦福情感树库（SST-2）。

目前 RoBERTa 在 GLUE 基准测试数据库中的得分为榜上第一，但 9 项 GLUE 任务中拿到了 4 项最高分。不过 SuperGLUE 包含了在一系列困难的 NLP 任务中测试创造性解决方案的新方法。

Facebook AI 研究人员在一篇博客文章中称：这些任务侧重于机器学习在诸多核心领域的创新，包括高效采样、转运、多任务、以及自我监督学习。

为向其他研究人发出挑战，SuperGLUE 选择了各种形式的任务、更加细致的问题、尚未被最先进方案所解决的内容、以及很容易被人类理解的题目。

简而言之，新基准测试包括了八项任务，用于测试 AI 语义理解模型是否遵循基本的因果关系、或者是否在做阅读理解时出现了偏差。

AI研究人员推出更严格的SuperGLUE语义理解基准测试( 二 )