?微软提出Petridish，完美解决问题的神经网络？( 六 )_全文共2531字

\n \n

Petridish

\n \n

Petridish是一种基于特征选择和梯度增强技术的前向搜索NAS方法。该算法的工作原理是创建一个模型库作为其搜索输出，然后合并停止前进和停止渐变层，以更有效地识别有利于构建该库的候选对象，并使用异步训练。 Petridish算法可以分为三个基本阶段：

\n \n

· 阶段0：Petridish从某些父模型开始，这是一个人工编写的微小模型，具有一层或两层，或者已经由领域专家在数据集中找到。

· 阶段1：Petridish使用停止渐变和停止前进图层将候选图层连接到父模型，并对其进行部分训练。候选层可以是搜索空间中的任何操作包。使用停止梯度层和停止向前层可以在不影响模型的正向激活和反向梯度的情况下累积相对于候选对象的梯度。如果没有停止梯度层和停止向前层，将很难确定哪些候选层对父模型的性能有所贡献，并且如果您想查看它们各自的贡献，则会需要单独的培训，从而增加了成本。