机器理解能力将超过人类?( 四 )

目前在很多公开的数据集上,如在英文最具权威的SQuAD2.0数据集中:EM和F1两个指标上,人类的表现分类为86.831和89.452,而目前PINGAN团队所研发的模型已取得了EM值88.592,F1值90.859的表现。

机器理解能力将超过人类?

图2/5

图片来源:SQuAD官网

机器理解能力将超过人类?

图3/5

图片来源:SQuAD官网

换句话说,某种程度上,机器的阅读理解水平已超越人类。

而在中文最具权威的DuReader数据集中,ROUGE-L和BLEU-4两个指标上,人类的表现为57.4和56.1,深思考所研发的BMAnet模型在这两项指标上取得了63.13和59.34的表现。

机器理解能力将超过人类?

推荐阅读