国外牛人深度强化学习训练双足机器人，如今的它可以变着花样行走( 四 )_图1

Cassie是如何学会这么多步态的：

深度学习在图像分类、图像分割、动作识别、语义理解、围棋、Flappy Bird、Dota等许多领域的高度非线性任务学习的问题上，取得了巨大的成就，但是将深度学习应用于真实世界机器人，还存在许多挑战和困难，例如需要依赖在虚拟环境下长时间的加速训练、虚拟环境模型与真实世界存在差异、机器人硬件的磨损等等。

加拿大大不列颠哥伦比亚大学计算机系和俄勒冈州立大学动力机器人实验室的研究人员对此进行了探索。为了让双足机器人学会在不同的速度下平稳地行走，研究人员提出一种简单而有效的方法，奖励函数在每一次迭代中可以重新定义，来学习新的策略，从虚拟环境下获取5-10K样本，然后通过这些少量样本将强化学习和有监督学习结合，学习机器人行走策略，并更成功转移到真实世界的机器人。

他们首次成功将深度学习应用于人体真实比例的双足机器人——Cassie机器人，Cassie双足机器人身高大约1米，体重31千克，腿部结构复杂，和人一样具有三自由度的髋关节，腿部可以向前、后、和侧面移动，同时还能完成腿部的旋转动作。在Cassie机器人的实验表明，通过这些研究人员所提出的方法，在虚拟环境下学习的策略可以不通过任何动态随机选择就可以转移到真实世界的机器人，同时可以实现在少量样本下的双足机器人行走技能学习，在不同的速度下，机器人都可以进行稳定的行走。