脸书开源迷你版星际争霸说人话还能教AI打游戏( 三 )

AI必须考虑到大型状态-动作空间带来的复杂情况,协同不同的兵种,并根据对手的行动调整战略布局。

与AlphaStar这样直接模仿人类策略的AI不同,在MiniRTSv2中,Facebook AI尝试了一条新的路径,让AI先用自然语言生成计划,再交由单独的模型执行操作。

也就是说,这是一个分层决策的过程。系统通过两个AI模型来执行任务,一个负责不断观察游戏状态,并用自然语言给出指令,即指导网络;另一个需要解读指令并执行决策,即执行网络。

在游戏环境的每个时间步骤上,观察编码器会对每个游戏对象(游戏单位,建筑物或资源)的空间位置和非空间内部状态进行编码。

这一编码器会为每个单位,资源生成单独的特征向量。

脸书开源迷你版星际争霸说人话还能教AI打游戏

之后,辅助编码器会帮助AI学习其他全局游戏的属性特征。

这些特征既会被用到执行网络中,也会被用到指导网络中。

推荐阅读