导论|时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

机器之心报道
编辑:小舟

2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍 。
凸优化是指在最小化(最大化)的优化要求下 , 目标函数是凸函数 , 且约束条件所形成的可行域集合是一个凸集的优化方法 。 由于能够顺序查询外部数据源 , 在线凸优化成为获得凸函数最佳解决方案的方法 , 并因其在大规模优化和机器学习中的可扩展性而得到了广泛的普及 。
近日 , 由计算机科学家 Elad Hazan 撰写的经典书籍《在线凸优化导论(Introduction to Online Convex Optimization)》出版了第二版 , 第一版曾于 2016 年发表 。
导论|时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表
文章图片

第二版书籍链接:https://arxiv.org/pdf/1909.05207.pdf
与第一版类似 , 这本书将优化视为一个过程 。 在许多应用中 , 实际环境非常复杂 , 要建立一个全面的理论模型 , 使用经典的算法理论和数学优化是不可行的 。 因此应用优化方法 , 在观察问题更多方面的情况下进行学习 , 采用稳健的方法是非常必要的 。 这种将优化视为一个过程的观点已为各个领域广泛接受 , 在建模和多种系统上取得了巨大的成功 。
【导论|时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表】随着机器学习、统计学、决策科学和数学优化方面的研究越来越多 , 确定性建模、随机建模和优化方法之间的界限逐渐模糊 。 该书沿着这一现实趋势 , 以在线凸优化 (OCO) 框架为例 , 讲解了 OCO 建模和解决的实际问题 , 涵盖严格的定义、背景和算法 。
全书共包含 13 章的内容:
  • 第 1、2 章介绍了在线凸优化的基础知识和基本概念;
  • 第 3、4 章系统地介绍了两类在线凸优化的方法;
  • 第 5 章介绍了正则化的内容;
  • 第 6 章具体介绍了经典框架 Bandit 凸优化(BCO)的内容;
  • 第 7 章讲解了无投影算法的内容;
  • 第 8 章从博弈论的角度讲解在线凸优化理论;
  • 第 9 章讲解了与在线凸优化有关的统计学习理论;
  • 第 10 章介绍了在现实多变的环境中在线凸优化的实际应用问题;
  • 第 11 章主要介绍了机器学习算法 boosting 和在线凸优化算法的衡量指标 regret;
  • 第 12 章讲解了在线 boosting 方法及其用途;
  • 第 13 章介绍了 Blackwell 可接近性定理 。
以下是这本书的部分目录 。

推荐阅读