OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图( 四 )

我们将随机为每张图像选择一个空间激活。这就得到了100万个激活向量。每个向量都是高维的,可能是512维!对于如此复杂的一组数据,如果我们想要一个大的视图,就需要对其进行组织和聚合。

通过一些先进的降维技术,可以将收集到的激活向量投影到有用的二维布局中,并保留原始空间的一些局部结构。将在创建的2D布局上绘制网格,对于网格中的每个单元格,将位于该单元格边界内的所有激活平均化,并使用特征可视化来创建图标表示。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图5/24

(左)从不同的训练示例中收集100万个激活向量。

(中)将它们排列成2D,以便让相似的元素更紧密地排列在一起。

(右)对每个单元格的平均添加网格,并对其进行特征可视化。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

推荐阅读