OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图( 六 )

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图9/24

在脚的下面,我们开始失去任何可识别的动物部分,并看到孤立的地面和地板。 我们看到归属于“沙洲”等环境以及地面上发现的东西,如“门垫”或“蚂蚁”。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图10/24

这些沙质岩石背景慢慢地融入海滩和水体。 在这里,我们可以看到水面上下的湖泊和海洋。虽然神经网络上确实有“海滨”这样的特定类别,但我们看到许多海洋动物的属性,而没有任何与动物本身有关的视觉参考。

但令人欣慰的是,用于为“海滨”类识别海洋的活动与用于分类“海星”或“海狮”的活动是相同的。在这一点上,湖泊和海洋也没有真正的区别——“湖边”和“河马”的属性与“海星”和“黄貂鱼”混杂在一起。

早期的特征可视化工作主要集中在单个神经元上。而通过收集成千上万个神经元相互作用的例子并将其可视化,Activation Atalas从单个神经元转移到这些神经元共同代表的空间。

推荐阅读