四小时搜索NN结构，厦大提出快速NAS检索方法( 四 )_机器之心专栏作者：郑侠武ICCV2019将于

2. 搜索空间

在搜索空间上，我们主要延续了 [2] 中的搜索空间，

图2/10

图 3 搜索空间

具体搜索空间如图 3 所示：（a）单元可以堆叠起来形成一个卷积网络，或者递归连接形成一个循环网络。（b）一个单元（cell）作为最终架构的基石，单元是由 N 个有序节点组成的全连接有向无环图。

每个节点都是一个特征（神经网络的卷积特征或者其他特征），每个有向边是对该节点的某种运算。假设每个单元有两个输入节点和一个输出节点。对于卷积单元，输入节点被定义为前两层的单元输出 [1][2]。通过对所有中间节点应用及连操作（concatenation）来获得最终的单元的输出。

3. 搜索算法

针对精度排序假设，我们设计了一套基于多项式分布学习的神经网络结构检索算法，首先对于整个搜索空间，我们假设图 3 中的搜索空间为一个多项式分布，最开始的时候，每一个多项式分布的初始概率值保持一致，即假设有 8 个可选的操作，那么搜索空间中每一个的概率为 1/8。在训练的时候，每一个训练的 epoch，我们首先对网络结构进行采样。采样结束后，对于一个节点输入的操作为具体边对应采样的点：