ICLR 2019论文解读：深度学习应用于复杂系统控制( 二 )_机器之心发布作者：石媛媛&陈绎泽引言2

深度学习控制行业刚刚兴起，还有很多的问题没有解决，还需要很多的理论突破。近期，华盛顿大学研究组在 ICLR 2019 发表了一篇深度学习控制的最新成果 [1]，这是第一次将深度学习与

凸优化

理论结合应用到最优控制理论中，在从理论层面保证模型达到全局最优解的同时，大幅提升了复杂系统控制的效率和准确度。该论文在公开评审中获得了 6/7/8 的评分，在所有 1449 submissions 中得分位列前 90 位 (top 6%)。在这里，论文的两位作者将亲自为我们解读其中的核心思想。

图1/5

论文地址：https://openreview.net/forum?id=H1MW72AcK7¬eId=HylsgDCzeV

机器学习/强化学习与控制

自动控制与机器学习作为两个拥有深厚历史的学科，已经发展了数十年，并建立了各自较为完善的学科体系。在自动控制中的重要一环，是首先根据历史数据对控制系统进行输入-输出的端到端建模。目前广泛使用的系统辨识（system identification）方法主要有两种：一是使用线性/或分段线性模型来预测系统的（状态，控制变量）->(状态) 关系。这样做的好处是后续的优化问题是线性优化问题 (linear programming) 并可结合控制论中的线性二次型调节器 LQR（Linear Quadratic Regulator）等控制模型，易于求解并实现闭环最优控制。同时控制论较为注重系统的理论性质研究，如系统的李雅普诺夫稳定性，以及基于卡尔曼滤波等的最优状态估计等。但是线性模型很难准确地描述复杂系统的动态，且建模过程需要大量专家知识和调试。因为存在对物理对象的建模，这类方法也被称为基于模型的控制和强化学习 model-based control/reinforcement learning。第二种方法是使用一些较为复杂的机器学习模型，比如深度神经网络，支持向量机 (SVM) 等对物理系统进行建模。相比线性模型，这些模型能够更为准确地捕捉系统输入-输出的动态关系。而在一般的（深度）强化学习算法中，通常研究者也会训练一个端到端的算法，由状态直接输出控制。由于不存在物理建模过程，这类方法也一般被称为 model-free control/reinforcement learning。但是这些复杂模型给后续的优化控制问题求解带来了困难。我们都知道深度神经网络，一般来说输出对于输入都是非凸的，包含很多局部最优点，所以在优化过程中很容易陷入局部最优情况。在对稳定性要求很高的系统控制情境下（比如电力系统控制，航天系统以及工业控制），这种多个局部最优解并且没有全局最优收敛性保证的情况是我们非常不愿看到的，也一定程度限制了目前深度模型在这些行业中的应用。同时，在当前的深度强化学习研究中，尽管在多个应用和领域中已经取得行业领先的控制和优化效果，但对模型的理论性质尚缺乏研究，同时需要大量标注的状态和决策数据以泛化模型的表征能力和应用场景 [2] (ICML 2018 tutorial and Annual Review of Control, Robotics and Autonomous Systems, Recht, Berkeley)。