第六期“AI未来说·青年学术论坛”带你进击机器学习( 七 )

\n \n


\n

赵申宜博士作“SCOPE:Scalable Composite Optimization for Learning”的报告分享

\n \n

作为南京大学计算机科学与技术学院博士研究生 , 百度奖学金获得者 , 赵申宜博士报告的主要内容包括:机器学习简介、可扩展的组合优化学习(SCOPE)、非凸模型和总结四个部分 。

\n \n

报告首先以机器学习的一些基本概念 , 包括模型、优化函数、随机梯度优化算法(SGD)、分布式部署等引入 , 分析了目前常用的训练算法 , 如同步SGD等 , 在分布式训练过程中通信开销大的缺点 , 由此提出了新的分布式SGD , 即可扩展的组合优化学习(SCOPE)的概念 。 接着 , 对SCOPE的框架、算法实现流程、局部目标函数、数据分割评价、收敛性等进行了介绍 , 并展示了算法在逻辑回归、Lasso中的实验结果 。 然后 , 研究了同步SGD针对非凸模型的优化—GMC算法 , 并给出了实际数据集的实验证明 。 最后 , 给出了凸模型应使用SCOPE , 非凸模型应使用GMC的结论 。

\n \n

\n \n

推荐阅读