MLP-Mixer|44种模型、1200种子网，RobustART评测CNN、Transformer、MLP-Mixer谁最鲁棒？( 四 )_模型|训练|评估|余种|ImageNet

对于几乎所有模型族（除了 MobileNetV2 等轻量化的模型族），增大模型大小能够同时提高泛化性以及对于对抗、自然、以及系统噪音的鲁棒性。

在模型大小类似的情况下，不同的模型结构可能有着截然不同的鲁棒性，这也意味着模型结构对于鲁棒性是非常重要的。具体的， ViT、MLP-Mixer 这类非 CNN 的模型在对抗噪音下表现更为优秀，而传统的 CNN 模型（如 ResNet、ResNeXt）则对于自然噪音和系统噪音更加鲁棒。

不同的噪音对于最终鲁棒性的评估结果影响很大，对于同一类型的噪音（如对抗噪音），不同的攻击方法可能导致不同的模型鲁棒性结果；甚至对于同一种对抗攻击，不同的噪音大小也可能会导致鲁棒性评估结果的不同。

除了 44 个典型的网络模型，该研究还从 BigNAS 超网中采样了 1200 个子网，探究子网模型参数（如模型大小、输入图片大小、深度、卷积核大小等）对于鲁棒性的影响，如下图所示：

MLP-Mixer|44种模型、1200种子网，RobustART评测CNN、Transformer、MLP-Mixer谁最鲁棒？

文章图片

可以看出模型大小、卷积核大小、模型最后一个 stage 的深度对于对抗鲁棒性有着正向的影响，而输入图片的大小则对对抗鲁棒性有负面的影响。
3.2 训练技巧对于鲁棒性的影响
该研究针对 10 余种特定的训练技巧，选取部分模型来评估有 / 无这些技巧对于模型的鲁棒性影响，部分结果如下图所示：

文章图片

从实验结果可以得出较多有意义的结论，如：

对抗训练：对于 CNNs ，对抗训练提升了模型的对抗鲁棒性，然而降低了 Clean 数据集上的泛化性以及对于自然噪音和系统噪音的鲁棒性；该研究还首次发现了对于 ViTs 和 MLP-Mixer ，对抗训练显著提升了 Clean 数据集上的泛化性以及对于所有三种噪音的鲁棒性，这对于对抗训练在真实场景中的实际应用有重大意义。
ImageNet-21K 预训练：该技巧提升了模型对于自然噪音的鲁棒性，却降低了对于对抗噪音和系统噪音的鲁棒性。
数据增强：该技巧降低了模型在对抗噪音上的鲁棒性，并在大多数情况下提升了模型对于自然噪音的鲁棒性。
AdamW 优化器：相比于基础的 SGD 优化器，该技巧略微降低了 ResNet、RegNetX 等大型模型的鲁棒性，却明显提升了 MobileNetV3 和 ShuffleNetV2 等轻量化模型在 Clean 数据集上的泛化性以及对于所有三种噪音的鲁棒性。

四、展望