一文带你用可视化理解卷积神经网络(14)

可视化输入中的重要内容—Occlusion Maps(遮挡贴图)

激活最大化用于可视化在图像中的模型期望的输出 。 在另一方面 , 遮挡部分图 , 可以帮助我们找到对模型来说那个部分是重要的 。

现在 , 为了了解遮挡图后的模型是如何工作的 , 我们想根据制造商对汽车进行分类的模型 , 如丰田 , 奥迪等:

你能知道是那家生产商制造了上面这辆车吗?很大程度上是不能的 , 因为放置公司标志的部分在图片里被遮挡了 。 我们是以分类为目的 , 所以被遮挡的这部分对我们来说很重要 。

类似地 , 因为这样的遮挡图的出现 , 我们遮挡图片的某些部分 , 然后计算出它属于哪一类的概率 。 如果概率降低 , 则意味着图像的被遮挡部分对于该类是重要的 。 否则 , 这就是不重要的 。

这里 , 我们根据图像每个部分的像素值做概率分配 , 然后将它标准化并生成热图:

推荐阅读