OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图( 十 )

突出显示完整地图集的特定类别激活有助于了解该类如何与网络“可以看到”的完整空间相关联。

但是,如果我们想要真正隔离有助于特定类的激活,我们 可以删除所有其他激活。与一般地图集类似,我们在类特定激活向量上运行维数减少5,以便排列类激活图集中显示的特征可视化。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图18/24

类激活图集使我们能够更清楚地了解网络使用哪些检测器对特定类进行排名。 在“呼吸管”示例中,我们可以清楚地看到海洋、水下和彩色面具。

不过,在某些情况下,我们希望看到有很强的相关性(比如鱼和潜水者)。这些激活本身可能比我们感兴趣的类对不同的类有更强的贡献,但是它们的存在也可以对我们感兴趣的类有更大的贡献。

对于这些,我们需要选择一种不同的过滤方法。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

推荐阅读