四小时搜索NN结构，厦大提出快速NAS检索方法( 二 )_机器之心专栏作者：郑侠武ICCV2019将于

除此之外，本文还提出并证明了一种保序精度排序假设，进一步加速学习过程。在 CIFAR-10 上，通过我们的方法搜索的结构实现了 2.55％的测试误差，GTX1080Ti 上仅 4 个 GPU 小时。在 ImageNet 上，我们实现了 75.2％的 top1 准确度。

背景介绍

给定数据集，神经架构搜索（NAS）旨在通过搜索算法在巨大的搜索空间中发现高性能卷积架构。NAS 在各个计算机视觉领域诸如图像分类，分割，检测等取得了巨大的成功。

图一：神经网络结构检索

如图一显示，NAS 由三部分组成：搜索空间，搜索策略和性能评估：传统的 NAS 算法在搜索空间中采样神经网络结构并估计性能，然后输入到搜索策略算法中进行更新，一直迭代至收敛。尽管取得了显着进步，但传统的 NAS 方法仍然受到密集计算和内存成本的限制。

例如，强化学习（RL）方法 [1] 需要在 20,000 个 GPU 上训练 4 天，以此训练和评估超过 20,000 个神经网络。最近 [2] 中提出的可微分的方法可以将搜索空间松弛到连续的空间，从而可以通过在验证集上的梯度下降来优化体系结构。然而，可微分的方法需要极高的 GPU 显存，并且随着搜索空间的大小线性增长。