王者荣耀的B面人类在此喧闹，AI却在他们脚下悟道

　　文 | 史中
　　孙悟空在旷野上狂奔，喉咙里喊出：I＂m Real!！
　　他把金箍棒直插入地，炫目的振波四散冲开，眨眼间，又跳到敌人近身左右开弓，一顿输出行云流水，对方血槽见半。
　　然而，就在下一秒，猴子却突然判若两猴，握着铁棍，失神呆立，任由对手揪住一阵爆锤，刚才的威风无影无踪。
　　原因很简单：我在打《王者荣耀》——刚刚我还在操纵孙悟空，现在我把手指从屏幕上挪开了。
　　在0和1编织的赛博世界里，哪怕贵为齐天大圣，没有玩家的＂灵魂注入＂，它也只是一具皮囊。
　　孙悟空并不 Real。
　　看到这儿，很多浅友可能会哭笑不得：中哥你在说啥？孙悟空不就是个游戏角色么？游戏角色不用人操纵，难道还能自己上阵杀敌不成？
　　诶，那可真不一定哦。
　　最近我就遇到一群人，他们用了6年时间在王者峡谷里铺下了千万行代码，完成了三连杀：
　　第一、用人工智能指挥英雄 战胜了无数人类好手 。
　　第二、他们还把《王者荣耀》改造成了 AI科研 的试炼场；
　　第三、他们甚至把小小屏幕背后的游戏变成了 ＂多智能体协作＂ 这个人类前沿技术命题的悟道之地。
　　听我细细道来。
　　（一）为英雄披上＂AI战甲＂
　　2016年，成都，一群人围坐在会议室里，眼神如哲学家般深邃，如圣徒一样虔诚，仿佛面前有一团篝火。
　　坐在C位的这个，名叫黄蓝枭。
　　你也许不认识这位老哥，但很可能以特别的方式和他＂神交已久＂。因为他就是现任王者荣耀的执行制作人，也是天美L1工作室的总经理。
　　多少个夜晚，你在被窝里端着手机上分的时候，四舍五入就是在黄蓝枭和他的同事们营造的王者峡谷里辗转缠绵。
　　当时，这群人正是在讨论这个古老而诗意的命题—— 能不能用人工智能控制王者荣耀的英雄去战斗？
　　看到这儿，你脑袋上可能又有问号了： 王者荣耀的开发团队不好好做游戏，为啥非要用人工智能打游戏呢？
　　要搞清楚这个事儿，我们不妨坐在黄蓝枭和王者荣耀技术负责人杨光身边，听听他们在说什么。
　　彼时的《王者荣耀》还不是现在这般耀眼的＂全民游戏＂，里面可选的英雄也只有几十位，远没有后来的一百多个。
　　虽然很多英雄正在秘密开发中，但有一个问题贼拉困扰他们，那就是—— 这个英雄放出去之后，可不敢＂太能打＂。
　　这是为啥呢？
　　因为如果它的技能太牛X，那么，玩家用原来自己熟悉的英雄肯定打不过它，只好被迫抢着选这个英雄（或Ban掉它），这还有啥意思？
　　就像跷跷板一头被300斤的大胖子压得死死的，角色失去了＂平衡性＂。
　　平衡才有趣（截图出自短片《Balance》）
　　那怎么才能让一个新英雄在出生的那一刻，就和其他旧英雄是＂平衡＂的呢？
　　其实，在游戏开发界有一个祖传秘籍——新英雄发布之前，要找很多专业游戏测试员，用它跟老英雄打上几千场。各种姿势都尽量测试一遍，最终胜率在50%上下，那就说明它不比别人厉害也不比别人弱鸡嘛。
　　＂祖宗之法＂虽好，却有三个问题：
　　第一、测试员毕竟是人不是神，难以面面俱到。英雄放出去后，上亿玩家的智慧一起轰炸，还是难免发现一些骚操作，打破平衡性。
　　第二、人工测试太贵，越是要测试得万无一失，越是需要更多测试员，就越贵；
　　第三、测试员一多，又难免走漏风声。新英雄提前泄密，是游戏的大忌。
　　听到这儿，黄蓝枭看向你：这位同学，你有啥好办法？
　　估计你会说：
　　那能不能搞一个水平很高的机器人，左手新英雄，右手旧英雄，自己跟自己大战十万回合？
　　反正电脑也不吃盒饭，有电就能跑，不仅省时，还能比人类测试得更完善，还不担心泄密，一举三得！
　　你看，这不就回到我们刚才说的＂用人工智能打游戏＂ 了么？
　　人工智能脑补了十万场对局
　　＂这个打游戏的人工智能是怎么做出来的呢？＂我好奇心爆棚。
　　黄蓝枭示意我慢慢来，在继续讲故事之前，他得先给我科普一个小知识。
　　从游戏开发的角度，＂用电脑控制的角色＂有个统称，叫 ＂智能体＂ 。
　　他说。
　　如果宽泛地说，智能体的历史可非常悠久。
　　就拿大家都熟悉的1985版《超级玛丽》来说，那个一上来就收走了无数小白人头的＂香菇怪＂就可以看做是最简单的＂智能体＂。
　　进一步说，《仙剑》《最终幻想》里那些叨逼叨的 NPC 也是智能体；
　　再看《星际争霸》《王者荣耀》里，那些小兵、野怪就更是智能体了。
　　这里要猛敲黑板！！！
　　人工智能是近几年才成熟的，那在这之前，驱动＂智能体＂ 的经典技术叫做＂状态机＂ 或 ＂行为树＂ 。
　　所谓行为树，可以理解为是一个身上长满了＂开关＂的机器人。
　　比如天气黑了，就相当于触发了一个开关，机器人就要做一个动作；对手发了一个招，就触发了另一个开关，机器人就会躲避，然后按照预先写好的脚本还击。这个和工业上的机器人原理类似。
　　总之，所有反应的背后都是一条条具体的规则。规则越完备、越细致，机器人就看起来更聪明。
　　黄蓝枭解释。
　　这是一个简单的行为树示意图。
　　用行为树驱动的智能体在《王者荣耀》里早就有了，用在小兵、野怪的控制、新手教程之类的很多地方。
　　那还要人工智能干啥？
　　这是因为，行为树存在天花板，里面的规则即使写得再精细，水平最多也就相当于＂青铜＂。
　　用＂行为树＂来测试新英雄的平衡性显然不靠谱——这就像战士们日常用棒子操练了十万次，上战场之后看到对手掏出了机关枪…
　　现在你就明白了，回到2016年，王者 AI 团队想要的东西准确来说是——＂用人工智能驱动的高级智能体＂ 。
　　做出这种＂智能体＂，所需的技术约等于人类科技的极限，纯靠天美工作室的能力恐怕不够…
　　大伙儿发愁，从哪儿找点厉害的帮手呢？
　　此时，我们不妨把王者团队的故事按下暂停，挪一下地图，从天府之国穿越到祖国南海。
　　2016年的深圳，腾讯总部，有另一帮人同样聚在会议室里，眼神如哲学家般深邃，如圣徒一样虔诚，仿佛面前有一团篝火。
　　这群人来自腾讯鼎鼎大名的人工智能实验室——腾讯 AI Lab。
　　给不熟悉的浅友多介绍一句，腾讯AI Lab，基本代表了他们人工智能技术的最高水准。
　　他们做出的病理 AI 云平台，可以辅助医生看细胞涂片，识别一些早期癌症的准确率相当于3~5年经验的医生；
　　他们做出的药物研发系统＂云深＂，可以大大加快新药研制的速度。
　　他们做出的围棋 AI 选手＂绝艺＂，可以优雅地让世界冠军柯洁两子还能击败他；
　　杨巍，就是腾讯 AI Lab 的创始成员之一。
　　杨巍
　　当时，他和同事们刚刚做出绝艺，虽然横扫一票人类围棋大师，但他感觉不到狂喜——因为半年前，DeepMind 刚刚用阿法狗虐完李世石，中国人做得再牛，也不是＂首创＂了…
　　那怎么才能做出比下围棋的AI更厉害的人工智能呢？
　　纠结中，杨巍划开手机屏幕，突然看到了《王者荣耀》的图标——＂比围棋更复杂的游戏，我们腾讯有啊！＂
　　王者荣耀团队和 AI Lab 一拍即合。
　　大家踌躇满志，既然要做出最能打的AI，那就得起个最能打的名字。斗战胜佛悟空不正是中国文化里最能打的人（猴）么？这个AI还是＂绝艺＂的同胞兄弟，按照＂绝＂字辈排下去，就叫＂王者绝悟＂ ！（为叙述简便，下文简称绝悟）
　　回忆起这个＂梦开始的地方＂，黄蓝枭还是激动不已。
　　用人工智能去测试英雄的平衡性、改善新手教学关卡，让玩家玩得更爽，这当然是现实目的，但仅仅这样理解它的意义，就太简单了。
　　我们看到了一个更大的机会：《王者荣耀》这个纯国产自研的IP如果可以突破＂游戏＂的局限，成为一个训练智能体协作的基础设施，那才能对社会和产业有更深远的帮助！
　　他说。
　　杨巍接受委派，成为了绝悟的AI技术带头人，心潮奔涌。
　　然而，热情的岩浆即刻冷却，变成了沉重的砖石。
　　举目四望，当时整个地球上还很少有人公开用AI打＂复杂游戏＂的计划，也没有研究者公布相关学术论文，更没有成熟的代码、算法可以参考——标准的＂三无状态＂。
　　该从哪儿下手呢？
　　（二）英雄的＂内啡肽＂
　　在普通人看来，围棋和《王者荣耀》是毫无关系的两种玩意儿——前门楼子和胯骨轴子。但在杨巍这种专业大牛的眼里，《王者荣耀》其实可以理解为升级版的围棋。
　　只不过，升级的跨度有点大就是了…
　　杨巍告诉我，它们的区别主要有三：
　　第一、围棋的玩法是一对一，王者荣耀的玩法是五对五（5v5），可以不严谨地理解为＂10个人一起下的围棋＂。
　　第二、围棋是回合制比赛，我下的时候你只能看。但王者荣耀是＂即时竞技＂，两边同时肝，谁犹豫一秒就会败北。
　　第三、围棋盘面就361个点，黑方和白方看到的局面都是完整的、一致的。可王者荣耀的游戏玩家只能看到自己视野内的局面，至于视野外的敌人具体在干嘛，那纯得靠＂猜＂了。
　　从数学的角度看，玩这种（有绝对强度的）对抗游戏，要想胜率达到绝对意义的100%，其实只有一种办法——穷举 。
　　就拿围棋来说，对手下完一招棋之后，我如果可以把棋盘上所有能下子的点位都思考一遍，然后在每种可能性的基础上，再把接下来对手可能下的点位再思考一遍，以此类推，把亿万种不同的＂剧本＂全都尝试过，最终就能＂遍历＂所有的＂状态空间＂。
　　这相当于每一种走法将会导致的结局我全了如指掌，那想输也输不了…
　　但坏消息是：穷举围棋的每一种姿势只在理论上可行，现实中，它已经超越了所有计算机的计算极限。
　　还有更坏的消息：王者荣耀的状态空间比围棋更大，更是超越人类计算机极限不知哪里去了。粗略估计一下，打一局王者，里面可能有10的20000次方种操作的可能性。不好意思，宇宙中原子的总数也只有10的80次方个。这事儿估计上帝也做不到…
　　不用穷举法，那用啥法呢？
　　用＂依葫芦画瓢法＂ 。
　　还是举个生活中的小栗子吧。
　　你是一个360斤的胖子，想减肥到120斤，这是你的终极目标。
　　为了达到这个目标，你得分成10086个步骤来做。而每一步里，你还面临10086种选择。
　　比如早晨第一步就有＂不吃早餐＂、＂吃包子＂、＂吃面条＂、＂吃鸡蛋＂、吃＂肉夹馍＂…（你完全没办法穷举）
　　可是，哪个操作能提高最终的＂胜率＂，你完全不知道啊！
　　这时候，最好的办法不是原地苦想，而是看哪位老哥曾经减肥成功，你模仿 他的操作。
　　如果他早餐吃的是＂鸡蛋沙拉＂，那你也应该先尝试吃＂鸡蛋沙拉＂；他第二步是＂晨跑30分钟＂，那你也应该这样。（虽然从上帝视角来看，一定存在更适合你的办法，但你就！是！不！知！道！最好的选择只有模仿…）
　　绝悟最初学习打王者也是同样的道理，这个过程的学名叫 ＂模仿学习＂ 。
　　模仿谁呢？模仿职业电竞选手。
　　王者荣耀的高手大概都知道，有一个名叫 KPL（王者荣耀职业联赛）的比赛，是这款游戏的最高殿堂，每年职业选手都会在这里来一次华山论剑，而这些比赛录像都是公开的。
　　于是，腾讯 AI Lab 赶紧把这些录像都找来，让人工智能学习。
　　KPL 比赛现场
　　人工智能当然不会排排坐背着手听老师讲课——所谓学习是通过一种叫做＂奖励＂ 的东西实现的。
　　这一点和人类的进步过程也超级相似。人在不断实现目标的过程，大脑会分泌＂奖励递质＂内啡肽。
　　还拿减肥举例：今天你跑步半小时，内啡肽就会分泌；晚餐八分饱，又会分泌；睡个好觉头脑清醒，又会分泌；直至最后减肥成功，大分泌。
　　人类的＂内啡肽分泌体系＂是千万年进化的结果，可绝悟没这些，脑袋里是一张白纸——所有的＂奖励机制＂都需要人类从头设计。
　　所以，人工智能的训练，本质上就是奖励设计的过程！
　　杨巍一语道破天机。
　　这段科普截取自X科技实验室的视频节目，他们很好地解释了绝悟的训练过程，非常推荐，链接附后。
　　比如，敌人被击中掉血，我方英雄该怎么赏？对方英雄出招被我躲过，赏多少？对方英雄被击杀，怎么赏？推掉一个塔，怎么赏？打团帮同伴挡住敌人大招，怎么赏？
　　当然除了正奖赏，还有负奖赏——罚。
　　比如，我方英雄被击中残血，应该罚多少？如果罚得太多，英雄就会不敢出战，各种逃窜，甚至掉一丝血就想回城补血；如果罚得太少，英雄又会傻冲，容易被团灭。
　　你看，这种奖励的设计过程非常精细——往往奖励值变化一点点，就会导致训练出来的英雄性格迥异。所以，需要技术宅们蹲在电脑前反复调整实验，才会试出理想的结果。
　　注意看，这里杀敌的奖励反而是负的，因为这个过程会导致其他奖励都在增加，如果此处再给奖励会让AI过于执着于击杀敌人。（由此可见奖励调整过程中有很多反直觉的操作。）
　　怎么样，听上去这个＂绝悟训练计划＂天衣无缝吧。
　　呵呵。
　　（三）少年绝悟
　　我们把时间轴拉到2017年。
　　彼时，已经＂埋头苦练＂半年的绝悟一招一式都有了模样，感觉棒棒哒，迫不及待想找个对手试一下。
　　＂来，你们出个强人跟绝悟打一场！＂杨巍对王者团队下战书。
　　王者的同学说，我们不是有负责新手教学的＂行为树＂么，绝悟先跟行为树 打一仗，赢了再说呗。
　　＂哼，竟然小瞧人。＂杨巍他们哼着小曲把绝悟和行为树 的接口连通，两边干了一架。
　　结果…绝悟被打得满地找牙。
　　之前说过，行为树 的水平大概是＂倔强青铜＂，这么一比的话，彼时的绝悟水平大概就是…躺平废柴…
　　啊，我们一群人开发了半年的人工智能，比不上一个王者开发同学花半个月写的 行为树 ，那感觉简直无地自容。当时就觉得这玩意儿简直太难了。
　　杨巍回忆。
　　受了打击，他跟业内专家交流，倒倒苦水。
　　本想求点＂练兵高招＂，可大家的意见却如五雷轰顶：这玩意儿做出来的可能性确实不大，早点放弃，也不是不行…
　　可是，眼看团队同学们每天还在冥思苦想解决办法，自己放弃，这可怎么见江东父老呢？他只好顶住压力，装作无事发生，继续鼓励大伙儿。
　　果然，功夫不负苦心人，有两个方向渐渐在他们的视野里清晰起来：
　　第一，即便是 KPL 高手，也不意味着每一个操作都是正确的嘛！他们也有失误，也会有平庸的操作，不能啥都跟他们学。
　　第二，人类打游戏时是左手控制方向，右手控制出招，分别是两个脑区负责的。那是不是绝悟也应该把＂走位＂和＂出招＂分开来训练呢？
　　先说第一个方向。
　　怎么让 AI 学到人类精华呢？
　　黄蓝枭派出几位精锐的游戏策划师，他们不仅是游戏的主创成员，更是打游戏的高手。这些高手的任务很奇特：不用干别的，就盯着屏幕把比赛录像看N遍。
　　因为他们对游戏的理解特别深刻，所以，有些我们看上去炫酷的操作，在他们眼里反而是平平无奇的花架子；有些容易被忽略的微操，在他们心中恰恰是功底深厚的神来之笔（老玩家应该明白这种感觉）。
　　就这样，他们调动毕生经验 ，把真正的优秀操作 一个不落地标记 出来。
　　这个操作，就是人类高手的经验被＂提纯＂成《九阴真经》的过程。接下来，只要推着绝悟的后背传入它体内就好。
　　这是英雄学会了＂利用草丛＂，阴在草丛后面等对手进入攻击距离，猛然跳出一波带走。
　　这是两个英雄学会了＂配合＂，英雄A用护甲保护残血队友B，并且打出空间，队友B默契地用技能击杀对手。
　　再说第二个方向。
　　他们把涉及位置移动的操作全部交给一个系统训练，又把涉及出招的操作交给另一个系统训练。这样一分开，果然，绝悟的脑子不再是一团浆糊，操作清爽多了。
　　需要强调的是，这个思路还进一步启发了他们，除了左右手操作分开训练，是不是还能把其他一些重要的决策也独立训练呢？
　　于是，他们又搞出了好几个独立的＂脑区＂：
　　比如有一个脑区专门负责＂猜测敌人位置＂：每时每刻根据现场的情况修改判断，比如在这个草丛没有见到对手，那对手在另外草丛的概率就会增高；
　　比如还有一个脑区专门负责＂大局研判＂，基于现在的战势，我应该往哪里走才对整体最有利？有了大局研判， 英雄的格局就打开了， 不会在屏幕这一小块区域里恋战，而是能运动起来，及时出现在险要位置。
　　两个红点，分别表示了此时此刻英雄在全局的目标和在本地的目标。就是由两个脑区生成的。
　　这些脑区虽然独立思考，却能很好地协作：
　　1、他们都能根据自己了解的情况产生＂奖励值＂；
　　2、诸多脑区的＂奖励值＂综合在一起，共同对英雄的行为施加影响；
　　3、这种操作，就像用几根细细的丝线来共同控制木偶那样。
　　经过这么一堆改进，绝悟的水平果然开始慢慢提高。
　　怀着忐忑的心情，腾讯 AI Lab 的同事又让绝悟跟行为树 约了一架——这次，换行为树 满地找牙了。
　　艾玛，大仇终于得报！绝悟团队的技术宅们复盘绝悟的战斗录像，就像老父亲拿着儿子补考了十次的60分成绩单，热泪盈眶，濒死的自信心总算缓过来一些。
　　可信心这个东西，几天不打击，又会变得膨胀。
　　2017年底，又练了几个月的团队觉得绝悟的水平可以了，是时候找几个真人胖揍一顿立立威了。于是他们在一次高层管理会上，热情挑逗茶歇中的领导们跟绝悟来上一局。
　　领导们兴致来了：玩就玩，正好看看你们的水平如何。
　　本来腾讯 AI Lab 他们盘算的是，领导又不是专业选手，水平能有多强，绝悟别把人类虐太惨就好。结果，很快他就发现自己鲁莽了。这几位自告奋勇的领导有两个都是王者段位，其他都是星耀。
　　豪华阵容直接把绝悟虐在当场，气氛一度有些尴尬…
　　领导说来啊再打一局，绝悟团队说对不起打扰了…
　　这次＂惨痛教训＂，让他们学得老乖了。
　　＂猥琐发育，别浪。＂后来就成了我们王者绝悟的研发方针。和打游戏一个道理嘛。
　　黄蓝枭说。
　　果然，绝悟狠狠猥琐了大半年，闭关苦练，战力大幅提升。直到2018年，陆续有＂同行＂的新闻爆出，阿法狗的开发者 DeepMind 正在挑战用AI打《星际争霸》，马斯克参与创建的 OpenAI 也开始打 Dota 的主意。
　　黄蓝枭默默点头，果然大家都想到一起去了。
　　这种情况，就不该再猥琐下去了，是时候让绝悟也揭开面纱——找真实的人类来一场《王者荣耀》公开赛 了！
　　＂可是，那时候绝悟的能力也许打不过顶尖职业赛手吧？＂我问。
　　＂不是也许，就是打不过。因为是跟在职业选手屁股后面学的，理论上没办法比人家更厉害。＂他笑。
　　选来选去，王者绝悟团队挑中了几位游戏主播和前KPL选手，在2018年的 KPL 总决赛上向他们发起挑战。这些玩家当然也很厉害，但毕竟不是巅峰状态的职业选手，想来和当时的绝悟水平正好相配。
　　绝悟对阵前职业 KPL 选手辰鬼、零度和职业解说白乐、九天和立人组成的人类战队。
　　杨巍带队去了现场。他还记得，比赛前一晚双方就开始＂斗智斗勇＂了。
　　主播队和绝悟队进行了友好的赛前会面。主播队说我们很菜，杨巍说不不不我们才菜。主播说你们敢把绝悟拿出来，肯定有把握。杨巍说真没有，你们明天千万别打得太认真。
　　一阵尴尬沉默，主播们终于说出了那个藏在心底的请求：今晚能不能先让我们私下打一局，体验一下绝悟的实力？
　　杨巍的头摇成拨浪鼓。他眼角余光瞥见同事们，这群人头摇得比他还厉害。
　　虽然表面不能让别人看出来，但其实心里确实没底。
　　因为 AI 训练的原理就决定了它不可能覆盖所有可能性。对手一旦使出怪招，天知道会触发什么Bug。万一绝悟有啥弱点被对方拿捏了，第二天我们必败无疑啊…
　　杨巍回忆。
　　就在麻杆打狼两头害怕的暧昧气氛中，比赛正式打响。
　　画面通过直播信号忠实地向千万观众传送。杨巍和同事坐在导播台后面，手心里全是汗。这场比赛没有彩排，只有上帝才知道结局。
　　刚开始几分钟，主播队的英雄配合默契，像拳头一样猛攻，而绝悟的几个英雄却像五指伸开。这种温吞的战术让观众完全看不懂，而且局面上，绝悟也是且战且退，仿佛屏幕上写满了＂招架不住＂…
　　杨巍都快昏过去了。
　　比赛到三分半，绝悟已经被＂四杀＂
　　当时我已经开始想，如果输掉比赛，回去要怎么和领导交代，怎么总结教训了…
　　他说。
　　然而，现场观众却渐渐陷入沉默，因为绝悟稳住了阵脚，温吞的防守变成有条不紊的输出，竟然开始一点点扳回局面。
　　那一刻，杨巍突然意识到，除了技战术本身，AI 相比人类还有一个巨大的优势，那就是无论局面如何危在旦夕，它都不会受到情绪影响，因为它就没有情绪！
　　反观主播，心态开始肉眼可见地出现滑坡、滑坡、滑坡、泥石流。
　　这是绝悟最终取胜的画面。
　　人类战队水晶被拆那一瞬间，藏在导播台后面的杨巍他们弹射起来，高声欢呼。导播转过身来怒目而视：吵什么！我们正在直播呢！！
　　绝悟脖子上戴满花环，载誉而归。
　　可是，和荣誉一起到来的，却是巨大的瓶颈。
　　（四）自己＂揍＂自己
　　问你个问题：孙悟空和他师傅菩提老祖谁更厉害？
　　那还用说，肯定是当师傅的菩提老祖更厉害。西游记里说孙悟空只跟菩提老祖学了个皮毛。就算他把菩提老祖的技能全学会，那也只是和菩提老祖打个平手。
　　纠结点就在这儿。从＂模仿学习＂ 的原理来看，是不存在＂青出于蓝而胜于蓝＂的可能的。AI无论多努力，最多只能学到师傅的八成功力。
　　换句话说，绝悟要想继续精进，超过顶尖职业选手的水平，已经没有师傅可以教得了它了。
　　只剩一种选择：自己教自己——让 AI 通过无数次和自己对战，领悟进阶的真谛。
　　用人工智能的＂黑话＂来说，这种自学行为就叫＂强化学习＂ 。
　　你还记得当年，在 AlphaGo（阿法狗）之后，又出来一个 AlphaZero（零狗）么？
　　这个零狗就是通过自己跟自己下了好几亿盘棋自学成才的。后来证明，它比阿法狗还能打一万倍，人类绝无希望战胜。
　　这张图是强化学习的架构图（点击可以放大）。最左边是输入信息，包括：不可见信息（猜的）、小地图、己方英雄、敌方战斗单位（英雄、小兵、野怪、塔）；中间是数据通过不同的神经网络；右边是输出结果，包括大局的研判、现在应该做的事情（做啥，怎么做，对谁做）。
　　杨巍告诉我，从2019年开始，在绝悟团队里就专门拉出来一支＂特种兵＂，用强化学习的方式秘密训练＂绝悟2.0＂。
　　可是，特种兵面前却是一个岔路口：
　　向左走，是把之前已经学成的＂绝悟1.0＂拿来继续深造成＂2.0＂；
　　向右走，是从零开始训练＂绝悟2.0＂。
　　这俩有啥区别呢？
　　如果在绝悟1.0基础上深造，相当于大学毕业直接考研，难度不大，但大学阶段养成的＂积习＂已经定型，受限于这个历史包袱，很难有翻天覆地的进步；
　　如果从一张白纸训练绝悟2.0，那么虽然能抛掉历史包袱，但可想而知计算量非常巨大，万一模型和参数调整不好，就可能面临＂没练会，先练废＂的惨烈局面…
　　技术宅们商量了一下，欲练神功必先＂自宫＂，是男人就该对自己狠一点，咱从零开始。
　　最初数据看起来都很完美，但时间一点点过去，模型还是不收敛，而且曲线开始摇摆，甚至突然一下就跌到负值…
　　杨巍回忆。
　　这个局面就有点尴尬了。
　　训练模型就好比烧制一个巨大的陶瓶——放在窑里继续等待，也许再等十天半个月模型可以定型；但也可能再等个一年半载也无法定型；更有可能等了很久，烧出来一看，已经碎裂…
　　翻遍了顶级期刊论文，也没人研究过面对这种情况应该怎么办。杨巍他们知道，自己站在实践的最前沿，只能摸着石头过河了。
　　仔细反思，他们想到了一种办法：
　　之前的操作是想毕其功于一役，把10个英雄放在5v5的地图里一锅炖，当然就会造成模型异常复杂。那能不能把训练分成几步走呢？
　　顺着这个思路，他们制定了周密的计划：
　　第一步，先在1v1的场景下把英雄分别练好。
　　第二步，把100个英雄分成20组，每5个英雄固定组队，让每组英雄自己和自己先进行5v5训练。
　　第三步，固定组队英雄训练完毕，再把英雄打乱编队，开始乱斗训练。
　　这个操作就像学生上课一样，一章比一章难，一学期比一学期进阶，所以又叫做＂课程学习＂ 。
　　可以拿学象棋来比喻，先学会兵，再学王，再一步步学会其他棋子。
　　说干就干。果然按照这个思路调整的＂课程＂，既保证了能从零开始训练，又保证了训练强度不会爆棚。
　　至此，已经没有什么能够阻挡绝悟2.0的水平突飞猛进了。
　　这张图显示的是不同阶段的＂课程＂。注意红圈里的红线高于蓝线。这表明，＂上过前两课＂的人工智能表现要超过＂没上前两课直接训练第三课＂的人工智能。
　　2019年夏天，绝悟2.0按奈不住，在王者荣耀世界冠军杯半决赛中对现役选手发起挑战，4位中国选手和一位马来西亚选手组成联队迎战。
　　这次表演赛，绝悟又把绝地反击的戏码来了一遍，战胜了人类。
　　确切地说，是战胜了人类玩家里最职业的那一拨。
　　5个人类高手对面，是5把空椅子。
　　这次比赛结果摆在眼前，黄蓝枭长出一口气。
　　从2016年开始的艰难跋涉，绝悟用了整整3年，终于爬到了金字塔尖。这背后的心酸艰难和几次濒临放弃，无法与人言说。
　　好在上天眷顾，绝悟成了。
　　讲到这儿，我们的故事就如同一条小河开始汇入大众记忆。
　　很多人可能还记得，2020年＂五一＂，正是很多人被疫情封在家的时候，《王者荣耀》猝不及防地升了一次级，多出了一个模块，名字就叫＂挑战绝悟 ＂。
　　没错，王者 AI 团队决定，把绝悟向普通人开放，所有人都能来挑战。
　　一方面，让人类来挑战AI，本来就是一个新奇的游戏环节；另一方面，上亿玩家围殴绝悟，对绝悟的能力和稳定性都是前所未有的试炼。何乐而不为呢？
　　＂这么多人打绝悟，你不担心大家找到什么 Bug 吗？＂我问杨巍。
　　＂这回我有信心了！再说，如果真有 Bug 被找到，没准儿大家更开心，能达到意想不到的宣传效果呢！＂杨巍笑。
　　果然，＂挑战绝悟＂一出来，玩家们铆足了劲儿开始研究干掉绝悟的＂邪术＂。还有大神在网上发帖，跟写论文一样阐述他发现的绝悟弱点。场面不要太热闹。
　　追帖的人中，就有杨巍。
　　有时候看大家的帖子我觉得很有趣。因为AI的训练过程是一个复杂的＂黑盒子＂，很多绝悟的操作连我们团队自己都很难解释，别人猜的就更不准了。
　　但大家的热情很鼓舞我们。＂AI的可解释性＂确实是一个值得研究的前沿领域，所以后来我们也开发了解析模块，专门负责理解绝悟每一个操作背后的＂理由＂。
　　他说。
　　这张图一定程度解释了绝悟的思路——不同阶段，绝悟的意图不同。上图显示：推塔的时候，AI的注意力分布；下图显示：攻击水晶的时候，AI的注意力分布。
　　其实，对王者 AI 团队来说，最令人骄傲的成绩不是训练出＂绝悟＂，而是碰了无数墙壁，终于找到了训练＂多智能体协作＂的那条路。
　　他们把这些经验总结成训练框架，写成论文发表在了国际顶级期刊上。
　　这下，全世界的＂多智能体协作＂研究者终于不会再像杨巍当年那样，没有任何可以参考的文献了，人工智能的边界也由此确凿无疑地前进了一点点。
　　王者 AI 团队把过去几年摸索出的一整套＂强化学习框架＂写成论文，投到顶级学术会议（NeurlPS 2020）发表。
　　我刚刚一直在说＂多智能体协作＂ ，估计很多浅友会感到陌生。
　　其实，＂多智能体协作＂是解决很多现实难题的基石技术之一。你不妨跟我一起想象一下：
　　把王者荣耀的英雄们换成汽车，把地图换成街道，就变成了一个智能驾驶问题；
　　把英雄们的大招换成机械臂的动作，就变成了协作生产问题；
　　把游戏里的分路换成大厦里的电梯井，就变成了电梯调度问题；
　　把防御塔看成燃烧的火焰，那么，一群英雄围殴它就变成了火场救灾问题。
　　这样的例子不胜枚举。
　　这么说吧，如果要造出《终结者》里 T-800 那种＂通用人工智能＂ 机器人，一定要先突破＂多智能体协作＂技术。（我曾在《人工智能杀人回忆》里详细写过如何造一个＂T-800＂，浅友们可以点击复习。）
　　至此，我们再回过头来看黄蓝枭所说的那句话：＂我们绝不仅仅是用人工智能提升游戏体验，而是要让它对社会和产业有更深远的帮助。＂ 也许，你会有更深的感受。
　　没错，他们要试着凿穿王屋太行，向那个诱人却迷雾重重的远方前进。
　　目标虽是星辰大海，可这第一步该迈哪条腿呢？
　　（五）开悟
　　2019年，黄蓝枭往母校电子科大跑了好几趟，然后又马不停蹄地跑去中科大、北大、清华。
　　他在推进一个＂秘密计划＂——把训练绝悟的一整套平台封装成一个＂试炼场＂ ，并且免费开放给这些高校。
　　这个试炼场，表面上是炼AI，其实是炼人的：
　　第一，同学们当然可以在其中训练出＂属于自己的绝悟＂，但其实这并不重要。
　　第二，通过训绝悟的实操过程，可以让更多人学会AI，爱上AI，成为AI人才，这才重要。
　　第三，这些人才可以带着他们的经验和代码走向各个产业，继续解决不同场景下具体的＂智能体协作＂问题，这更重要。
　　王者 AI 团队和腾讯 AI LAB 决定给这个试炼场起名叫＂开悟＂ 。
　　开悟官网的介绍
　　背后的逻辑不言自明：星辰大海过于遥远，靠＂单排上分＂太孤独了，得先找到无数开悟的人＂组团开黑＂才能抵达。
　　不过，要做出一个稳定好用的试炼场绝非易事。
　　这就像你请朋友来你家教Ta做饭。你肯定不能直接把Ta丢到 厨房，说你自己研究吧，这样，人家 连油盐酱醋在哪儿都找不着…
　　实际上，你需要＂封装＂出一个人家看得懂、易上手的厨房。
　　首先，你得把菜洗干净、把调料放好，这就是 预制的算法和模型 。
　　其次，你得把炒菜的原理和顺序给人家讲清楚，还要把用不到的调料藏在柜子里以防人家拿错，这就是 AI训练框架 。
　　最后，你还得给人家把煤气灶准备好，这就是 数据和算力 。
　　这样一来，如果你是新厨子（学生），只要按顺序放菜放料，也能炒出一盘不错的菜；如果你是大师傅（研究者），就可以自备独特的食材和调料，炒出一份米其林餐厅标准的菜。
　　用王者 AI 团队的话说就是：王者切墩，学生炒菜。
　　开悟的开放从电子科大、中科大、北大、清华4所学校试点。
　　同学们学了一个学期，怎么判断学习成果好不好呢？
　　这个简单，搞一个全国高校的大比赛，谁训练的AI打赢了，就说明谁学得好呗！这就是＂开悟多智能体强化学习大赛＂ 。
　　第一届比赛定在2020年8月开锣，初赛是单挑，复赛是团战。每个参赛队必须用一套模型来控制所有指定英雄。
　　黄蓝枭原本还很担心同学们参赛的热情不高。花了这么大的成本，万一冷场了多尴尬…
　　但，他多虑了。
　　学生们的血液都是100度的，听说要争胜负，还是打王者，一下子都来劲了。一开始是本科生，后来连硕士、博士都闻风而来，各种压箱底稀奇古怪的脑洞招式全掏出来招呼。
　　杨巍在给第一届大赛季军（中国科学院自动化研究所队）颁奖。
　　作为评委的杨巍看了大家的作品，简直比喝了浓咖啡还提神。
　　＂在有限的算力下，很多同学做出来的模型收敛速度甚至要好于市面上一些主流模型。这说明在模仿学习和强化学习上，我们远远没走到头，还有很多技术空间可以拓展。＂他感慨。
　　第一届比赛在高校中一炮而红。到了第二届，参赛队伍猛然扩充到了二十几支，上次失利的队伍要＂血洗前耻＂，上次赢的队伍想＂卫冕成功＂，上次没参赛的说：别争了，冠军在此。
　　第二届比赛的现场转播
　　AI 是冷血的，但训练 AI 的人却是有血有肉的。
　　清华大学的选手邵键准对他们训练的鲁班的＂成长过程＂如数家珍：＂从一开始被对面AI胖揍，到后来只掉一管血，最后甚至扭扭屁股走位就躲掉了对面的技能，AI成长的过程，也是对我自己的鼓励。＂
　　中科大的赵鉴养成了一个习惯：总爱亲自上阵和自己的AI对战。＂从一开始虐 AI，到后来开始打不过自己的 AI，这个过程回想起来是一件很浪漫的事。＂他说。
　　四川大学的刘朋森评价自己的参赛历程，用了简短几个词：创造生命、望子成龙、欣慰、奇妙。
　　让他们把训练 AI 的过程和生活对比，有人把训练AI比作爬山，有人比作马拉松，有人比作训练神奇宝贝，还有人比作吃火锅——遇到不同的问题就像吃不同的菜，总之最后所有的菜都要吃完，而且吃饱了就很满足…
　　但更多的同学都把自己的 AI 看成孩子。有趣的事情恰恰在此：他们在自己还是孩子的生命阶段，就提前学会了对一个新生命的呵护、希冀、包容和祝福。
　　学术交流环节
　　而黄蓝枭注意到一个细节：战队选手中有很多非人工智能专业的同学，他们的热情一点都不比科班同学低，作品也很优秀。
　　赛后不久，开悟团队的邮箱突然收到一封来自高中生的邮件。这个同学说自己对AI很感兴趣，但苦于还没上大学，想问问去哪里可以用到开悟…
　　对于人工智能的热爱其实根植于很多人的心底，只是因为过去缺乏一个既有趣又好用门槛又低的学习平台，很多本来应该进入人工智能领域的人就这样错过了，这太可惜了。
　　黄蓝枭感慨。
　　这些反馈给了开悟团队极大的鼓舞。比赛刚一落幕，开悟团队又开始马不停蹄地走访更多学校，扩大开悟的落地范围。
　　就在不久前，黄蓝枭和杨光一起做了个重大决定：他们准备找合适的时机把《王者荣耀》的＂游戏内核+开悟平台＂打包公开出来，让更多对AI感兴趣的研究者（无论什么职业、年龄、背景）都可以下载回来做研究。
　　开悟正试着创造一个＂人工智能面前人人平等的世界＂ 。
　　（六）一个＂游戏＂的使命
　　虽然缓慢，但预言正在成真。
　　2022年，西南交通大学计划开展一个研究：把源于开悟平台的人工智能模型迁移到了智能交通灯的控制。
　　王者荣耀的英雄们不在虚拟空间里游走，而是钻进了信号灯；他们的任务也不再是打团推塔，而是协作指挥交通、控制车流，在真实世界里输出服务。
　　在这一刻，＂孙悟空＂终于可以喊出：I＂m Real。
　　黄蓝枭告诉我，西南交大项目只是一个开始，类似的＂产业+开悟＂合作还有好多好多，但大都在陆续展开阶段，现在还不方便透露，大家敬请期待。
　　杨巍告诉我，如果看向技术的未来，《王者荣耀》对人工智能的贡献可能远不止于此。
　　例如在＂内容生成＂ 方向，目前前沿的研究可以做到让 AI 根据角色设定自动生成对白，也可以根据模型智能生成步态、行为。
　　如此一来，过去通过＂真人+动捕+纯人工修正＂来做的 NPC，未来都可以用人工智能生来辅助制作，既省时省钱，又提升效果。
　　这些技术同样可以脱离游戏，帮助制造未来的＂服务机器人＂或＂形象更友好的机器人＂。
　　而在＂智能决策＂ 方向，即便绝悟已经打遍天下无敌手，但放眼未来，它仍在＂婴儿阶段＂。未来可做的事情还有很多。
　　第一个就是：＂博弈场景＂。
　　你有没有发现，游戏和游戏其实是不同的？
　　围棋、《王者荣耀》所代表的游戏类型是竞技性的，这种游戏背后的逻辑是只要我的＂绝对战力＂比对手强，就能击败对手。
　　但还有一种游戏是博弈性的，比如猜拳、麻将。没有一种策略可以稳赢，我能不能赢取决于对手做了什么。
　　杨巍说。
　　这种博弈游戏的奥义，是要 AI 来分析不同策略的＂抗性＂。
　　用这种游戏训练出来的 AI，未来可以辅助国际商品贸易、拍卖、市场预测等强博弈的现实场景中。
　　第二个是：＂拟人化＂。
　　在很多游戏中，真人玩家的目标可能不仅仅是＂赢＂，例如很多人喜欢玩出自己的风格，或者打出某种画面。
　　所以，人工智能也不应该仅仅局限于＂如何赢＂这一件事上，怎么打得有趣、漂亮，其实是更难的研究方向。
　　比如在王者中，有养猪流，就是4个人围绕一个人；有野核流，以打野为核心，还有鬼谷子体系、大乔体系等等。
　　其实完全可以通过调整奖励值来训练不同的＂AI 风格＂，这些训练经验未来就可以发展成人工智能的性格和情感。
　　杨巍说。
　　我们从腾讯 AI Lab 在2021年发表的论文中可以看出有趣的东西：
　　红色区域表示＂强化学习 AI＂会选择的打法，橙色区域表示人类玩家会选择的打法，而蓝色区域就是调整不同风格后 AI 学会的打法。
　　可以看出，＂蓝色AI＂掌握了所有流派的打法 。
　　第三个是：＂人机配合＂。
　　现在的游戏 AI 很多都用于＂AI+AI＂的配合模式。但在真正的生活中，＂人+AI＂配合的情况才是多数。
　　比如你在打王者荣耀的时候，有时会和队友说：我要发起进攻了！这时候队友就知道了你的意图，当然他可以选择和你一起来，也可以选择不跟你来。
　　同理，你也应该可以和 AI 配合，你说你要发起进攻，AI也可以根据它对形势的判断，选择跟不跟你上。
　　他说。
　　＂AI还可以不听指挥么？＂我惊讶。
　　＂当然了，这种情况下人和AI是合作关系，不是操控关系。这种合作的效果可能比‘百分百服从’更好。＂他说。
　　我脑海里突然浮现出一个画面：也许将来 AI 机器人可以代替警犬和人类一起工作，它们有自己的智慧，有自己的性格，有自己的判断和原则，也有一颗独特的勇敢的心。
　　反正肯定比边牧强。
　　然而在我看来，真正科幻的是：一个曾经被很多人冷眼看待的游戏，通过这种方式和国家的科技硬实力血脉相通，息息相关。
　　虽然不一定人人可以参透，但某些东西命中注定：
　　当一个既有趣味性，又包含丰富的变量和操作接口的游戏杀出重围，成为十几亿人熟悉的＂全民游戏＂那一刻起，就没有谁比它更适合成为＂AI 多智能体＂的研究平台 了。
　　从这个角度看，让《王者荣耀》成为人工智能发展历程上的一部分，已经不仅仅是腾讯的选择，恐怕更是腾讯的责任。
　　（七）当王者荣耀成为＂玫瑰园＂
　　在我和黄蓝枭聊天的过程中，他总强调一个词：＂自主 IP＂ 。
　　意思是，王者荣耀是中国人自研的游戏，其中的形象也都是以中国文化和美学偏好为出发点所创造的。
　　但我很不解：一个＂打游戏的人工智能＂，或者一个＂AI研究平台＂，研究不是底层技术么？至于它操纵的是关羽张飞妲己貂蝉还是什么虫族兽族巫师，这有啥区别？？
　　＂不，有很大的区别！＂黄蓝枭坚持。
　　我们做的虽然是技术，但技术的背后更是文化。
　　你有没有注意到，很多70后、80后甚至90后，他们一想起曹操，那个形象其实是日本人心中的曹操形象。原因很简单，我们儿时玩的三国游戏很多都来自日本，所以美学定义也同时被日本掌握了。
　　他说。
　　黄蓝枭
　　同样，AlphaGo 是人工智能历史上里程碑的作品，但是，它却很难有一个贴切的中文译名。仔细辨认，你不难在＂阿法狗＂这个翻译里发现戏谑和丝丝无奈。再看＂开悟＂，这却是一个古老的东方词汇，佛教和道教均有释义。
　　黄蓝枭开始了他的设想：
　　有朝一日，如果《王者荣耀》和开悟平台成为了国际上最流行的多智能体训练研究平台，那么，附加于人类最先进技术之上的文化角色，就顺理成章的是花木兰，是孙悟空，而不是米老鼠、唐老鸭。
　　由此，中国文化的包容和闪耀，也一同走向了不分种族肤色，所有人的内心深处，成为科技史中不可磨灭的地层。
　　黄蓝枭对于王者荣耀的＂痴情＂，出乎我的意料。我并未设想过一个轻飘飘的＂游戏＂可以如此重若泰山地驻扎在历史的长河。
　　但他说服了我。
　　在我看来，黄蓝枭的终极梦想是把《王者荣耀》从一个＂竞技场＂变成一个＂玫瑰园＂。
　　你在竞技场里获得的，是激情、胜利、热血和快感；但你在玫瑰园里获得的，却是满眼鲜艳，是和芬芳共处的时光，是一段铭记良久的温情记忆。
　　技术的追求当然没有止境，而把文化融入科技记忆，这条路更是没有终点的。
　　他说。
　　告别王者AI这群人，我甚至有点羡慕，羡慕他们所仰望的星空，以及他们短暂的人生里，每时每刻都更加靠近永恒的笃定和浪漫。
　　不知为何，我突然想起国际象棋大师伊曼纽·拉斯克曾说的一句话：如果宇宙中存在其他的智能生命，它几乎一定会下围棋。
　　如果宇宙中还存在其他生命，他会不会打王者荣耀呢？
　　尾图为旅行者一号在太阳系尽头拍摄的地球
　　（Pale blue dot）
　　参考论文：
　　·Hierarchical Macro Strategy Model for MOBA Game AI
　　https://arxiv.org/pdf/1812.07887.pdf
　　·Towards Playing Full MOBA Games with Deep Reinforcement Learning
　　https://arxiv.org/pdf/2011.12692.pdf
　　·Supervised Learning Achieves Human-Level Performance in MOBA Games: A Case Study of Honor of Kings
　　https://arxiv.org/ftp/arxiv/papers/2011/2011.12582.pdf
　　·Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
　　https://arxiv.org/pdf/1912.09729.pdf
　　·Learning Diverse Policies in MOBA Games via Macro-Goals
　　https://arxiv.org/pdf/2110.14221.pdf
　　·Actor-Criticpolicy Optimization in a Large-Scale Imperfect-Information Game
　　https://openreview.net/pdf?id=DTXZqTNV5nW
　　参考视频：
　　·王者峡谷一条街，打听打听谁是爹？AI是爹
　　https://www.bilibili.com/video/BV17w411f7Ti?spm_id_from=333.999.0.0
　　延伸阅读（点击可进入）：
　　·《人工智能杀人回忆》
　　·《我遇到一群腾讯游戏的老司机》
　　·《腾讯数据库的三场战役》
　　再自我介绍一下吧。我叫 史中 ，是一个倾心故事的科技记者。 我的日常是和各路大神聊天。 如果想和我做朋友， 可以关注微信公众号：浅黑科技。