四小时搜索NN结构，厦大提出快速NAS检索方法( 三 )
主要方法
1. 精度排序假设
大多数 NAS 方法使用标准训练和验证对每个搜索的神经网络结构进行性能评估，通常，神经网络必须训练到收敛来获得最终的验证集的评估，这种方式极大的限制了 NAS 算法探索搜索空间。但是，如果不同结构的精度排序可以在几个训练批次内获取，为什么我们需要在将神经网络训练到收敛？
例如下图二，我们随机采样四个网络结构（LeNet，AlexNet，ResNet 和 DenseNet）在不同的次数下，在训练集和测试集中的性能排名是一致的（性能排名保持为 ResNet-18> DenseNet-BC> AlexNet> LeNet 在不同 网络和训练时代）。
图1/10
图 2 精度排序假设
基于这一观察，我们对精度排序提出以下假设：在训练过程中，当一个网络结构 A 的精度比网络结构 B 要好，那么当收敛的时候，网络结构 A 的表现也优于网络结构 B.
推荐阅读
- 守望先锋2|最烧脑的网游建筑，内部结构精细又复杂，这就是大佬的世界么？
- |风格以魔幻为主的游戏插画，人物、结构、细节处理太赞了
- 我的世界|我的世界：遗迹结构的混乱，看似生成奇特，但却是1.18的问题所在
- rank|水子哥直播无意间暴露浏览器搜索记录！观众：这孩子长大了！
- jkl|JKL想恋爱了！疯狂搜索“去哪里求姻缘最灵”，还有各种养生方法
- 逆水寒|富婆之间的战斗有多烧钱？逆水寒富婆对线，四小时刷完3万块！
- 我的世界|我的世界：5个mc稀有结构，要塞排第三，第一还很“常见”？
- 苹果公司|苹果公司为何屡屡成功？以摄像头升级为例，看苹果独特的组织结构
- 投影仪|女老师火了，投影仪没关，搜索内容曝光
- 机器人|仿真女性机器人火了！内部结构犹如真人，用途甚至比真人还多