四小时搜索NN结构,厦大提出快速NAS检索方法( 八 )

该实验具体搜索时间上的性能指标以及测试错误率如下表显示:

四小时搜索NN结构,厦大提出快速NAS检索方法

图9/10

对应的网络结构为:

四小时搜索NN结构,厦大提出快速NAS检索方法

图10/10

结论

在本文中,我们介绍了第一种基于分布式学习神经网络结构搜索算法。我们的算法基于新颖的精度排序假设,该假设能够进一步缩短搜索时间,从而利用比较早期训练过程中的架构性能的排序来优化搜索算法。从我们的假设中受益,提出的搜索算法大大降低了计算量,同时在 CIFAR-10 和 ImageNet 上表现出了出色的模型精度以及高效的搜索效率。此外,我们提出的方法可以直接在 ImageNet 上进行搜索,相比于人类设计的网络和其他 NAS 方法更优越。

[1] Elsken T, Metzen J H, Hutter F. Neural architecture search: A survey[J]. arXiv preprint arXiv:1808.05377, 2018.

推荐阅读