文章图片
文章图片
文章图片
与生物大脑相比 ， 人工网络显然缺乏几个关键的泛化能力 。 人类与机器之间差距的一个特别突出的例子是在计算机视觉网络中发现的输入图像的“最小对抗性扰动” 。 尽管在这一方面取得了令人印象深刻的成功 ， 但深度神经网络有许多重要的失败模式虽然在对象识别方面训练的DNN在干净的图像上几乎达到了类似人类的性能 ， 但存在最小的扰动如果添加到图像中 ， 可能会完全破坏他们的预测 。
在感知上 ， 即使经过仔细检查 ， 人类也几乎看不到干净图像和扰动图像之间的区别 。 当网络在标准彩色图像上进行训练并在彩色图像上进行测试时 ， 它们的表现优于人类 。 类似地 ， 在具有相同类型噪声的图像上进行训练和测试时 ， 性能超人 。 但是 ， 当在与训练时不同类型的噪声上进行测试时 ， 性能处于偶然水平 。 人类观察者可以毫不费力地对图像进行正确分类 。
使用神经元风格转移的原始和纹理化图像的示例 。 普通VGG-16在纹理化图像上仍能达到很高的准确度 ， 而人类在许多图像中遭受全局形状丢失的困扰 。 深度网络存在纹理偏差 。 当类别的形状和纹理发生冲突时 ， 深度网络倾向于根据纹理进行决策 ， 而人类则根据形状进行决策 。 对人类 ， 但可以将DNN的预测翻转到任何所需的目标类别 。 这意味着所有类别的决策边界都非常接近任何给定的输入样本 。
据我们目前所知 ， 正常观看条件下的人类情况并非如此 。 使网络不易受到对抗性示例的影响的一个关键问题是难以可靠地评估模型的稳健性 。 直到最近 ， 唯一被认为有效的防御是一种明确设计用于防范对抗性攻击的特定类型的训练 。 领域适应是生物和人工视觉系统之间泛化差异的另一个显着例子 ， 也是对具有直接实际相关性的机器学习算法的鲁棒性进行基准测试的机会 。
【人类与机器之间差距，一个突出的例子是输入图像的“最小对抗性扰动”】人类概括了输入分布的各种变化 ， 例如光照的巨大差异、场景上下文的变化或雪花或雨造成的图像失真 。 虽然人类在其一生中肯定会接触到许多此类扭曲 ， 但视觉系统如何从以前从未经历过的分布中概括新输入似乎存在根本差异 。 机器学习算法非常需要在测试时超越独立和同分布样本的标准假设进行泛化的能力 ， 因为许多现实世界的应用程序都涉及输入分布的这种变化 。
因此 ， 针对不同类型噪声的输入失真的一般鲁棒性可以用作一个相关案例研究来测试之外的泛化 。 机器和人类的假设 。 盖尔霍斯等人的一项研究证明 ， 人类在不同图像失真上的泛化能力比深度网络要好得多 ， 即使深度网络在训练时访问这些失真时表现良好 。 该研究探讨了十二种不同类型的低级噪声对人和机器的物体识别性能的影响 。 后者接受了干净或失真图像的训练 。
当网络在与它们训练的同一域上进行测试时 ， 它们的性能始终大大优于人类观察者 ， 这表明网络能够“解决”下的失真 。 训练测试条件 。 然而 ， 当测试期间的噪声分布与训练期间看到的噪声不同时 ， 即使对于很小的失真 ， 网络的性能也非常低 。 深度网络中的决策对输入统计数据的简单变化缺乏鲁棒性表明深度网络缺乏类似人类的场景理解 。 特别是 ， 它们似乎缺乏图像内元素之间的远程依赖性的集成 ， 例如对象的不同部分 。 最近的一项研究通过探索深度网络中用于决策的信息类型来检验这一假设 ， 发现它们主要依赖于局部特征 ， 而在很大程度上忽略了它们的空间排列 。
推荐阅读
- 国外男子被切除心脏后，仍活555天，得知原因，网友感慨：真伟大
- 激光粉末床熔合增材制造缺陷结构工艺流程图（1）
- 未受精还天天下蛋，鸡怎么就沦为下蛋机器？鸡的BUG被人类利用了
- 宇宙的胎儿期，从大爆炸到决定世间万物，仅仅只用三分钟
- 元宇宙到底是啥？它对我们生活有什么利弊？
- 福建4名女子徒手偷走工地近百吨建材，平时工人搬运都需借助机器
- 暗能量：我们不断膨胀的宇宙中最大的谜团
- 世界上臭名昭著的三大发明：本该拯救人类，结果却成了杀人机器
- 在动物界，只有人类会得脚气吗？为什么？
- 19岁女孩怒砸金店柜台，上百万翡翠砸碎，120件翡翠全部遭殃