使用 K8S 几年后，这些技术专家有话要说( 八 )_图1

超参数科技高级研发工程师朱恒满从 AI 与游戏的角度，讲解了游戏 AI 在实践中遇到的难点以及解决问题的思路。游戏 AI 近些年来在学术界已经有了很多的探索，在最近几年出现了比较显著的成果。2013 年 deepmind 在 Atari 的游戏上超过了人类，但是在当时并没有引起很大的轰动，在 2016 年 AlphaGo 击败了国际顶尖的围棋选手，使得 AI 有了很大的进展。最近，deepmind 和 OpenAI 分别在 rts 和 moba 游戏里面战胜了职业选手，资源不断升级，规模也是越来越大。

游戏 AI 的实验流程：首先在本地是一些算法的设计、迭代，包括一开始去体验游戏，感受游戏需要怎样的特征，设计怎么样的流程更好；然后是模型的参数调整，做一些小范围的参数设置；接下来就是做一些大规模的实验。强化学习主要是 CPU 和 GPU 混合的异构的计算，规模会比较庞大。那么，现在 AI 真实对战的能力指标是不是已经达到我们的预期了？如果达到预期，实验就可能会停止；如果达不到，就会再回溯到之前的各个模块，看看在特征方面有没有什么需要改变；最后就是保存模型。

那为什么要做一个平台化？

首先是因为计算模式的复杂性。目前，强化学习在 K8S 上的编排模块比较多，包括 GPU、CPU 生产数据等方面，还有中间做了一些缓存。这么复杂的模式，如果没有做平台化，需要写很多的脚本，对于个人而言，很难掌握大规模、复杂的系统。另外，比较重要的一点是计算模式需要能够被复用。整个迭代流程更多的可能是修改参数，或者是一些模型、特征，其实整体的框架是不会动的，这就需要提供一些可复用的计算模式，进而可以提供对算法模型来说更加直接的分布式能力。