创新工场“AI蒙汗药”入选NeurIPS 2019,3年VC+AI布局进入科研收获季( 六 )

创新工场“AI蒙汗药”入选NeurIPS 2019,3年VC+AI布局进入科研收获季

此外,论文中提出的方法还能有效扩展至针对特定标签的情形下,即攻击者希望通过一些预先指定的规则使模型分类错误,例如将“猫”错误分类成“狗”,让模型按照攻击者计划,定向发生错误。

例如,下图为MINIST数据集上,不同场景下测试集上混淆矩阵的表现,分别为干净训练数据集、无特定标签的训练数据集、以及有特定标签的训练数据集。

创新工场“AI蒙汗药”入选NeurIPS 2019,3年VC+AI布局进入科研收获季

实验结果有力证明,为有特定标签的训练数据集做相应设置的有效性,未来有机会通过修改设置以实现更多特定的任务。

对数据“下毒”技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁,更重要的是,只有深入研究相关的入侵或攻击技术,才能有针对性地制定防范“AI黑客”的完善方案。

随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广,科研人员必须透彻地掌握AI安全攻防的前沿技术,并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。

推荐阅读