四小时搜索NN结构,厦大提出快速NAS检索方法( 五 )

进行采样后,进行训练以及测试,在搜索空间中我们记录下每一个操作被采样的次数以及精度。并且计算针对训练批次的差分以及精度的差分:

四小时搜索NN结构,厦大提出快速NAS检索方法

图3/10

利用计算好的差分,我们更新每一个操作的概率:

四小时搜索NN结构,厦大提出快速NAS检索方法

图4/10

从上面的公式中,对于搜索空间中的两个操作,我们主要进行下面的比较,当一个操作 A 与另外一个操作 B 之间进行比较,当 A 的训练批次比 B 要少,但是精度却更高,我们认为 A 比 B 要好,所以增加 A 的概率的同时的减少 B 的概率,反之亦然:当 A 比 B 要差,把 A 的概率分给 B。

最后当多项式分布仅有一个选择,或者墒少于一定的值的时候(在实验中,基本上 150 个 epoch 之后基本上结构就会稳定不变),我们认为算法收敛。

推荐阅读