图灵奖得主 LeCun 用来怼 Google 的乳腺癌 AI 论文,有何过人之处?(18)

由于一些乳腺含有多个可疑的发现 , 医师被要求对他们认为最可疑的病灶进行评估 。 我们模型的AUC为0.876 , PRAUC为0.318 。 医师的AUC从0.705到0.860不等(平均值:0.778 , 标准值:0.0435) , PRAUCs从0.244到0.453不等(平均值:0.364 , 标准差:0.0496) 。 图8(a)和图8(c)示出了单个ROC和precision-recall 曲线及其平均值 。

我们还评估了人机混合模型的准确性 , 其预测是基于放射科医生和模型预测的线性组合 。 混合模型平均AUC为0.891(标准差:0.0109) , 平均PRAUC为0.431(标准差:0.0332)(参见图8(b) , 图8(d)) 。

这些结果表明 , 我们的模型可以作为一个工具来帮助放射科医生阅读乳腺癌筛查检查 , 并且与有经验的乳腺放射科医生相比 , 它提供了任务不同方面的信息 。 在补充材料的I-G-1节中可以找到一个定性分析 , 比较模型和放射科医生对特定检查的预测结果 。

【图8(b)】

推荐阅读