7 大类卷积神经网络（CNN）创新综述( 五 )_深度卷积神经网络（CNN）是一种特殊类

图 2：典型模式识别（OR）系统的基本布局。 PR 系统分为三个阶段：阶段 1 和数据挖掘相关，阶段 2 执行预处理和特征选择，而阶段 3 基于模型选择、调参和分析。 CNN 有良好的特征提取能力和强大的鉴别能力，因此在一个 PR 系统中，它可以用于特征提取/生成和模型选择阶段。

CNN 中的架构创新

自 189 年至今， CNN 架构已经有了很多不同的改进。 CNN 中的所有创新都是通过深度和空间相结合实现的。根据架构修改的类型， CNN 可以大致分为 7 类：基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的 CNN 。深度 CNN 架构的分类如图 3 所示。

图 3：深度 CNN 架构分类

基于空间利用的 CNN

CNN 有大量参数，如处理单元数量（神经元）、层数、滤波器大小、步幅、学习率和激活函数等。由于 CNN 考虑输入像素的邻域（局部性），可以使用不同大小的滤波器来探索不同级别的相关性。因此，在 2000 年初，研究人员利用空间变换来提升性能，此外，还评估了不同大小的滤波器对网络学习率的影响。不同大小的滤波器封装不同级别的粒度；通常，较小的滤波器提取细粒度信息，而较大的滤波器提取粗粒度信息。这样，通过调整滤波器大小， CNN 可以在粗粒度和细粒度的细节上都表现很好。