速度|普林斯顿、英特尔提出ParNet，速度和准确性显著优于ResNet_Block|融合|研究|准确性|ResN

机器之心报道
编辑：小舟、蛋酱

神经网络的深度并不意味着一切？在近期的一项研究中，普林斯顿和英特尔的研究者提出了一种使用并行子网络或子结构的神经网络 ParNet ，在有效减少深度的同时能够保持高性能，甚至实现更快的速度及更好的准确性。

深度是深度神经网络的关键，但更多的深度意味着更多的序列计算和更多的延迟。这就引出了一个问题——是否有可能构建高性能的「非深度」神经网络？
近日，普林斯顿大学和英特尔实验室的一项研究证明了这一观点的可行性。该研究使用并行子网络而不是一层又一层地堆叠，这有助于在保持高性能的同时有效地减少深度。

文章图片

论文地址：https://arxiv.org/abs/2110.07641
【速度|普林斯顿、英特尔提出ParNet，速度和准确性显著优于ResNet】通过利用并行子结构，该研究首次表明深度仅为 12 的网络可在 ImageNet 上实现超过 80%、在 CIFAR10 上实现超过 96%、在 CIFAR100 上实现 81% 的 top-1 准确率。该研究还表明，具有低深度主干网络的模型可以在 MS-COCO 上达到 48% 的 AP 指标。研究者分析了该设计的扩展规则，并展示了如何在不改变网络深度的情况下提高性能。最后，研究者提供了关于如何使用非深度网络来构建低延迟识别系统的概念证明。
方法
该研究提出了一种深度较低但仍能在多项基准上实现高性能的网络架构 ParNet ， ParNet 由处理不同分辨率特征的并行子结构组成。这些并行子结构称为流（stream），来自不同流的特征在网络的后期融合，融合的特征用于下游任务。图 2a 提供了 ParNet 的示意图。

文章图片

图 2
ParNet Block
ParNet 中使用了 VGG 风格的 block（Simonyan & Zisserman ， 2015）。为了探究非深度网络是否可以实现高性能，该研究通过实验发现 VGG 风格 block 比 ResNet 风格 block 更合适（如下表 8 所示）。一般来说，训练 VGG 风格的网络比 ResNet 更难（He 等， 2016a）。但是最近的一些工作表明，使用「结构重参数化」方法（Ding 等， 2021），会让 VGG 风格 block 更容易训练。