创新工场“AI蒙汗药”入选NeurIPS 2019，3年VC+AI布局进入科研收获季( 四 )_：创新工场“AI蒙汗药”入选NeurIPS201

举例来说，假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等，却不慎被入侵者利用论文中提及的方法篡改了训练数据。

研发人员在目视检查训练数据时，通常不会感知到异常（因为使数据“中毒”的噪音数据在图像层面很难被肉眼识别），训练过程也一如既往地顺利。

但这时训练出来的深度学习模型在泛化能力上会大幅退化，用这样的模型驱动的机器人在真实场景中会彻底“懵圈”，陷入什么也认不出的尴尬境地。

更有甚者，攻击者还可以精心调整“下毒”时所用的噪音数据，使得训练出来的机器人视觉模型“故意认错”某些东西，比如将障碍认成是通路，或将危险场景标记成安全场景等。

为了达成这一目的，这篇论文设计了一种可以生成对抗噪声的自编码器神经网络DeepConfuse。

通过观察一个假想分类器的训练过程更新自己的权重，产生“有毒性”的噪声，从而为“受害的”分类器带来最低下的泛化效率，而这个过程可以被归结为一个具有非线性等式约束的非凸优化问题。

创新工场“AI蒙汗药”入选NeurIPS 2019，3年VC+AI布局进入科研收获季( 四 )