四小时搜索NN结构,厦大提出快速NAS检索方法( 五 )
进行采样后,进行训练以及测试,在搜索空间中我们记录下每一个操作被采样的次数以及精度。并且计算针对训练批次的差分以及精度的差分:
图3/10
利用计算好的差分,我们更新每一个操作的概率:
图4/10
从上面的公式中,对于搜索空间中的两个操作,我们主要进行下面的比较,当一个操作 A 与另外一个操作 B 之间进行比较,当 A 的训练批次比 B 要少,但是精度却更高,我们认为 A 比 B 要好,所以增加 A 的概率的同时的减少 B 的概率,反之亦然:当 A 比 B 要差,把 A 的概率分给 B。
最后当多项式分布仅有一个选择,或者墒少于一定的值的时候(在实验中,基本上 150 个 epoch 之后基本上结构就会稳定不变),我们认为算法收敛。
推荐阅读
- 守望先锋2|最烧脑的网游建筑,内部结构精细又复杂,这就是大佬的世界么?
- |风格以魔幻为主的游戏插画,人物、结构、细节处理太赞了
- 我的世界|我的世界:遗迹结构的混乱,看似生成奇特,但却是1.18的问题所在
- rank|水子哥直播无意间暴露浏览器搜索记录!观众:这孩子长大了!
- jkl|JKL想恋爱了!疯狂搜索“去哪里求姻缘最灵”,还有各种养生方法
- 逆水寒|富婆之间的战斗有多烧钱?逆水寒富婆对线,四小时刷完3万块!
- 我的世界|我的世界:5个mc稀有结构,要塞排第三,第一还很“常见”?
- 苹果公司|苹果公司为何屡屡成功?以摄像头升级为例,看苹果独特的组织结构
- 投影仪|女老师火了,投影仪没关,搜索内容曝光
- 机器人|仿真女性机器人火了!内部结构犹如真人,用途甚至比真人还多