AI研究人员推出更严格的SuperGLUE语义理解基准测试

科技频道提示您本文原始标题是:AI研究人员推出更严格的SuperGLUE语义理解基准测试 来源:太平洋电脑网

Facebook 人工智能研究员和 Google 旗下的 DeepMind、华盛顿大学、以及纽约大学合作,于今日正式推出了 SuperGLUE 。作为一个严格的语义理解基准测试项目,其能够针对现代高性能语义理解 AI 的性能,展开一系列的基准测试。当然,SuperGLUE 投入使用的前提,是某会话 AI 的深度学习模型已经触及了天花板,并希望接受更大的挑战。

AI研究人员推出更严格的SuperGLUE语义理解基准测试

(图自: SuperGLUE ,via VentureBeat )

SuperGLUE 使用谷歌的 BERT 作为性能基准模型,因为早在 2018 年的时候,它就已经在多方面被认为是最先进的、甚至打败了新一年的诸多竞争对手,比如 微软 的 MT-DNN、谷歌自家的 XLNet、以及 Facebook 的 RoBERTa 。

SuperGLUE 的前身,是纽约大学、华盛顿大学和 DeepMind 研究人员于 2018 年 4 月推出的针对语义理解 AI 的‘通用语义理解评估’(GLUE)基准测试。

推荐阅读