OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图( 九 )

当在网络中移动时,后面的层似乎变得更加具体和复杂。

因为每个层都在前一层的激活之上构建其激活。后一层的接受域也往往比前一层更大(这意味着图像的子集更大),因此概念似乎包含了更多的整体对象。

还有另一个值得注意的现象:不仅概念正在被提炼,而且新概念正在从旧概念的组合中出现。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图16/24

最后,如果我们缩小一点,我们可以看到更宽的激活空间的形状是如何从一层到另一层变化的。通过在几个连续的层中观察相似的区域,我们可以看到概念得到细化和区分——在mixed4a中,我们看到非常模糊的通用blob,通过mixed4e将其细化为更加具体的“半岛”。

OpenAI解密神经网络黑匣子:AI图像分类原来是张激活地图

图17/24

激活地图中,类的边界是导致神经网络容易“误认”主要原因

推荐阅读