云脑科技徐昊:AutoML 工程实践与大规模行业应用( 二 )

AutoML 算法前沿进展

AutoML 大规模工程应用落地问题

云脑科技高效 AutoML 系统

云脑 AutoML 在推荐,、游戏,、金融等领域的应用

雷锋网 AI 科技评论将其分享内容整理如下:

AutoML 在 2018 年是一个比较火的话题,salesforce 和微软都开源了 AutoML 的库,有很多开源软件包,如 AUTO KERAS,Auto-Sklearn 和 AutoWeka。

在算法上,今年在科研上比较受欢迎的是 NAS 算法,主要涉及神经网络结构方面的搜索。在超参的搜索方面,研究比较多的是 Model Based Sequential Optimization,基本思路是在超参空间里面先采样后建模,选择下一个提升概率比较高的超参点,比较流行的模型是贝叶斯和 TPE 模型等。Google 的 paper《Hyperband》上一种简单的 Bandit 方法使用的较多,基本思路是先在超参空间撒点采样,然后对每个点进行训练,训练结果更好的点可以获得更多的资源。还有 Population based Algorithm 算法,这些都是组合优化问题比较经典的解法。

推荐阅读