?微软提出Petridish，完美解决问题的神经网络？( 五 )_全文共2531字

NAS最早的论文之一是1988年的《用于识别问题的自组织神经网络》。从那时开始，这个领域新增了不少出版物，来概述这项有趣的技术，但是直到Google推动NAS ，才引起了主流机器学习社区的关注。如果您对NAS方法的发布历史感兴趣， AutoMLFreiburg-Hannover网站将提供迄今为止最完整的汇编之一。

NAS的两种类型：前向搜索与后向搜索

\n \n

探索NAS空间时，有两种基本的技术类型：前向搜索和后向搜索。后向搜索方法是实现NAS方法的最常用方法。从概念上讲，向后搜索NAS方法从一个超级图谱开始，该图是所有可能架构的结合，并学会通过梯度下降或强化学习逐步降低不必要的边缘的权重。尽管此类方法极大地减少了NAS的搜索时间，但其在需要人域知识来创建人名图谱的情况下具有局限性。前向搜索NAS方法试图将神经网络体系结构从小型扩展到大型。

\n \n

这种方法类似于深度学习模型中特征选择算法的许多原理。与后向搜索不同，前向搜索不需要预先指定有限的搜索空间，因此在从现有模型中进行热启动以及进行终身学习时，前向搜索更加通用并且更易于使用。