论AI自动化思维中的隐性成本( 四 )_像许多药物一样

下面来思考图像识别场景。十年之前，计算机一般很难认出照片中的物体。如今，图像搜索引擎就如同我们日常使用的众多系统一样，同样基于极其强大的机器学习模型。谷歌的图像搜索服务就依赖于名为Inception的神经网络。 2017年，麻省理工学院的LabSix（一支由本科生与研究生组成的研究小组）就成功篡改了一张小猫图片中的像素——虽然其看起来仍然像是人类认知中的猫，但Inception以99.99%的确定性认为这是一张牛油果照片。（根据计算， Inception认为可能性次高的结果分别为西兰花以及砂浆。）这又回归了我们之前提到的问题：当我们无法解释机器学习系统依靠哪些特征进行图片判断时，一旦有人提供特制或者篡改过的数据，我们也无法轻松预测系统何时会犯下错误。这样的系统当中可能存在着未知的准确性差距，而这无疑将给聪明且坚定的攻击者留下可乘之机。

随着对机器学习系统所产生知识的运用，这种差距将产生愈发严重的影响。目前训练出的医疗保健AI ，已经能够成功对皮肤病变进行良性与恶性分类。然而，在哈佛医学院与麻省理工研究团队今年出版的一篇论文中，研究人员们发现此类AI也有可能受到欺骗——基本情况与上文提到的小猫变牛油果案例类似。（除此之外，攻击者也可能利用这些漏洞骗取高额保险赔偿。）出于强大预测能力的诱惑，我们可能会急于将其作为人类医师的替代性方案；但必须承认， AI模型极易受到劫持，而且我们没有什么简单方法能够验证其产生的答案。