OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图(11)

图19/24

要立即理解类之间的所有差异可能有点困难。为了便于比较,我们可以将这两个视图合并为一个视图。我们将在水平方向绘制“snorkel”和“scuba diving”属性之间的差异,并使用t-SNE在垂直方向聚集类似的活动。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图20/24

在这个对比中,我们可以看到一些鸟一样的生物和左边清晰的管子,暗示着与“snorkel”有关,而一些鲨鱼一样的生物和右边圆形、闪亮、金属的东西,暗示着与“scuba driver”有关。

让我们从标记为“snorkel”的ImageNet数据集中获取一张图像,并添加类似于此图标的内容,以查看它如何影响分类分数。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图21/24

这里的失效模式似乎是该模型正在使用其探测器用于“蒸汽机车”类来识别空气罐以帮助对“潜水员”进行分类。

推荐阅读