四小时搜索NN结构,厦大提出快速NAS检索方法( 六 )

实验

精度排序假设的论证

我们首先对精度排序假设进行论证,论证方式为:随机从搜索空间中采样网络结构,训练这些网络结构,计算每一个中间 epoch 与最终收敛时候的 epoch 的排序精度。其中评价指标为 kendall』s tau:具体阐述了两个排序之间的准确度,两个排序中保持一致的对数。

四小时搜索NN结构,厦大提出快速NAS检索方法

图5/10

图 4 精度排序假设实验。

在上图中我们可以发现,kendall's Tau 在所有的 epoch 中保持了很高的准确度(kendall』s Tau 范围为 [-1,1],0 代表两个 rank 的一致的概率为 50%。),特别的,我们计算 kendall's Tau 的平均值为 0.47,代表不同的 epoch,评价指标的准确度为 74%。

神经网络结构检索实验

根据之前的文章 [1][2][3],我们主要设置了三个实验,(1) 直接在 cifar10 上面搜索,训练以及测试,(2) 在 cifar10 上搜索,将网络结构进行迁移,迁移到 ImageNet 数据集进行训练测试。(3)直接在 ImageNet 上搜索训练以及测试。

推荐阅读