碾压99.8%人类对手，星际AI登上Nature

不是所有智能体都为了赢

DeepMind在博客里说，发表在Nature上的AlphaStar有四大主要更新：

一是约束：现在AI视角和人类一样，动作频率的限制也更严了。

二是人族神族虫族都能1v1了，每个种族都是一个自己的神经网络。

三是联赛训练完全是自动的，是从监督学习的智能体开始训练的，不是从已经强化学习过的智能体开始的。

四是战网成绩，AlphaStar在三个种族中都达到了宗师水平，用的是和人类选手一样的地图，所有比赛都有回放可看。

具体到AI的学习过程，DeepMind强调了特别的训练目标设定：

不是每个智能体都追求赢面的最大化。



 

因为那样智能体在自我对战 (Self-Play) 过程中，很容易陷入某种特定的策略，只在特定的情况下有效，那面对复杂的游戏环境时，表现就会不稳定了。

于是，团队参考了人类选手的训练方法，就是和其他玩家一起做针对性训练：一只智能体可以通过自身的操作，把另一只智能体的缺陷暴露出来，这样便能帮对方练出某些想要的技能。

这样便有了目标不同的智能体：第一种是主要智能体，目标就是赢，第二种负责挖掘主要智能体的不足，帮它们变得更强，而不专注于提升自己的赢率。DeepMind把第二种称作“剥削者 (Exploiter) ”，我们索性叫它“陪练”。

AlphaStar学到的各种复杂策略，都是在这样的过程中修炼得来的。

比如，蓝色是主要玩家，负责赢，红色是帮它成长的陪练。小红发现了一种cannon rush技能，小蓝没能抵挡住：

（编辑：揭阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!