胶囊网络:一种全新的富有吸引力的AI架构( 四 )

它们用于近似数据中存在的非线性关系。

激活层通常对标量值起作用,例如,对向量中的每个元素进行规范化,使其介于0和1之间。

在胶囊网络中,一种称为挤压函数的特殊类型的激活函数被用来归一化矢量的大小,而不是标量元素本身。

这些挤压函数的输出告诉我们如何通过训练成学习不同思维的各种胶囊来路由数据。

图像中每个对象的属性都用路由它们的向量来表示。

例如,面部的激活可以将图像的不同部分路由到能够理解眼睛、鼻子、嘴和耳朵的胶囊。

针对MNIST数据集的胶囊网络应用就像深层CNN的不同层数学习图像的不同语义属性(内容、纹理、样式等)一样,胶囊也可以被组织成不同的层次。

同一层的胶囊进行预测,学习对象的形状,并将其传递给学习方向的更高层次的胶囊。

当多个预测一致时,更高级别的胶囊变得活跃。

这个过程被描述为动态路由,现在我将更详细地讨论它。

推荐阅读