本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

王者峽谷，風(fēng)云突變。

一場激烈的對戰(zhàn)正在進(jìn)行，左側(cè)是五位人類職業(yè)電競高手組成的賽區(qū)聯(lián)隊(duì)，另一方是……嗯？他們的對手沒有出場？五個(gè)座椅空空蕩蕩？

不。他們的對手都在。

這是昨晚的吉隆坡，王者榮耀最高規(guī)格電競賽事——世界冠軍杯半決賽正在進(jìn)行，期間有一場特殊的對決上演：五位電競職業(yè)選手組成的賽區(qū)聯(lián)隊(duì)，對陣騰訊王者榮耀AI絕悟。

最終這場5v5的大戰(zhàn)中，思路與人類迥異的AI戰(zhàn)隊(duì)耗時(shí)16分15秒，團(tuán)滅電競職業(yè)高手戰(zhàn)隊(duì)，推掉全部9塔和高地水晶。

這意味著，騰訊AI絕悟的能力，已經(jīng)精進(jìn)到王者榮耀電競職業(yè)水平。

當(dāng)然，對非職業(yè)玩家更是砍瓜切菜。

同日上海的ChinaJoy，絕悟向頂級(jí)業(yè)余玩家開放為期四天的1v1體驗(yàn)測試。首日的504場測試中，絕悟測試勝率為99.8%，僅輸1場（對方為王者榮耀國服第一后羿）。

首次擊敗電競職業(yè)隊(duì)

這場比賽，五位電競職業(yè)高手組成賽區(qū)聯(lián)隊(duì)。他們選擇的陣容是：曹操（ESTARPRO.XIXI）、娜可露露（EMC.SUN）、武則天（NOVA.SEEK）、狄仁杰（KZ.NIGHT）、張飛（M8HEXA.MIKE）。

騰訊AI絕悟（Wukong）選擇的陣容是：達(dá)摩（AI_001）、雅典娜（AI_011）、王昭君（AI_100）、虞姬（AI_000）、牛魔（AI_010）。

比賽開始，人類戰(zhàn)隊(duì)的水晶在左下角。

開局時(shí)，絕悟沒選擇傳統(tǒng)人類對線走位策略，而是先放掉上路，由雙C位英雄虞姬和王昭君先一起清理中路第一波兵線，壓制敵方中輔。之后又轉(zhuǎn)上路壓制曹操血線。

這種分配，沒有經(jīng)濟(jì)傾斜。兩人吃線，經(jīng)濟(jì)收益最大化，每個(gè)人都能獲得80%。現(xiàn)場解說表示，AI對中路搶線權(quán)理解的很透徹。

開局2分鐘，絕悟率先推掉了賽區(qū)聯(lián)隊(duì)的上路1塔，擴(kuò)大經(jīng)濟(jì)優(yōu)勢到5.1k：4.3k。開局2分半，賽區(qū)聯(lián)隊(duì)曹操擊殺絕悟AI虞姬拿下一血，雙方經(jīng)濟(jì)打平同為6.4k。

4分24秒，絕悟四人追擊娜可露露，達(dá)摩一腳將娜可露露反踢入AI中群毆，最終達(dá)摩拿下AI首個(gè)人頭。

這段時(shí)間，絕悟的雅典娜單帶，而另外四個(gè)AI一直抱團(tuán)。7分20秒，雅典娜反藍(lán)成功，此時(shí)絕悟拿下3塔4人頭20.9k經(jīng)濟(jì)，賽區(qū)聯(lián)隊(duì)拿下2塔3人頭19.7k經(jīng)濟(jì)。

現(xiàn)場解說認(rèn)為絕悟的效率和團(tuán)隊(duì)協(xié)作方面，都表現(xiàn)出色。“在4-1轉(zhuǎn)線方面，幾乎是做得完美。”

雙方隨即進(jìn)入一段激烈交鋒的階段。

8分48秒，絕悟一波團(tuán)戰(zhàn)0換2，并在全員殘血的情況下，主動(dòng)追殺賽區(qū)聯(lián)隊(duì)血量健康的曹操。不過絕悟也損失了血量最少的達(dá)摩，1換1。接著絕悟順勢開主宰。隨后復(fù)活的賽區(qū)聯(lián)隊(duì)玩家趕來，團(tuán)滅了絕悟戰(zhàn)隊(duì)，并拔掉中路2塔、反藍(lán)成功。

現(xiàn)場解說指出，AI的策略是“不想回家，打到彈盡糧絕。”這種方法，讓帶線效率更高。

9分48秒，絕悟拿下5塔8人頭28.2k經(jīng)濟(jì)，賽區(qū)聯(lián)隊(duì)拿下4塔8人頭28.9k經(jīng)濟(jì)。

又一分鐘之后，絕悟連續(xù)拿下4個(gè)人頭。其中包括10分25秒，賽區(qū)聯(lián)隊(duì)曹操在上路被殘血的AI虞姬反殺。展現(xiàn)出絕悟1v1時(shí)良好的即時(shí)策略能力。

又一分鐘，絕悟推掉賽區(qū)聯(lián)隊(duì)中路高地塔。然而，賽區(qū)聯(lián)隊(duì)曹操繞后，緊接著來了一撥反打，收掉絕悟四個(gè)人頭，AI戰(zhàn)隊(duì)僅剩雅典娜脫逃。

但，賽區(qū)聯(lián)隊(duì)這一時(shí)間沒能繼續(xù)推塔，也沒有拿下主宰。

14分鐘，反讓絕悟擊殺主宰。此時(shí)，絕悟拿下7塔13人頭45.1k經(jīng)濟(jì)，賽區(qū)聯(lián)隊(duì)拿下6塔12人頭43.3k經(jīng)濟(jì)。接著，絕悟開始不斷的清理各路兵線，

15分20秒，絕悟四人上路抱團(tuán)，在主宰先鋒的支持下，強(qiáng)開高地塔。雙方爆發(fā)激烈團(tuán)戰(zhàn)，在AI王昭君和牛魔大招的加持下，絕悟最終打出一波1換5，賽區(qū)聯(lián)隊(duì)團(tuán)滅。

然而~對手團(tuán)滅+兩條主宰先鋒上高地的情況下，絕悟卻沒有選擇直接推水晶，而是秀了一波操作……

絕悟四人，以輪流抗塔的方式，無兵線支持，推掉了還有三分之二血量的最后一座高地塔。現(xiàn)場解說高聲喊：“太絕了。”

16分15秒，絕悟推掉水晶，戰(zhàn)勝賽區(qū)聯(lián)隊(duì)。

最終，絕悟拿下9塔18人頭56.2k經(jīng)濟(jì)，賽區(qū)聯(lián)隊(duì)6塔13人頭48.0k經(jīng)濟(jì)。

雙方的出裝和數(shù)據(jù)如下：

問答絕悟團(tuán)隊(duì)

在這次歷史性的對抗之后，量子位與絕悟團(tuán)隊(duì)進(jìn)行了更進(jìn)一步的交流。

量子位：這次絕悟的對手情況如何？

騰訊絕悟：5v5對戰(zhàn)時(shí)最高規(guī)格電競賽事——世界冠軍杯半決賽的特設(shè)環(huán)節(jié)，是中國大陸/中國香港/韓國/馬來西亞地區(qū)選手組成的賽區(qū)聯(lián)隊(duì)。世冠杯特別環(huán)節(jié)的水平測試，是5v5版本首次達(dá)到職業(yè)水平。

1v1版本的研發(fā)難度顯著低于5v5版本。ChinaJoy上測試的是1v1版本，為首次公開對外測試，面向的是頂級(jí)業(yè)余玩家，AI總體實(shí)力十分強(qiáng)勁。

量子位：絕悟現(xiàn)在掌握多少英雄？BP也是自己完成么？

騰訊絕悟：5v5版本是此次固定的十個(gè)英雄，職業(yè)選手可以自由出裝。未來希望能不斷擴(kuò)大英雄池規(guī)模。

量子位：絕悟的操作手速被限制在什么水平上？

騰訊絕悟：設(shè)定為跟人類極限手速類似，因?yàn)橛螒虮旧砥展ズ图寄芏加泄ニ傧拗疲虼丝傮w是一個(gè)相對公平的測試。

量子位：絕悟此次訓(xùn)練了多久？投入了怎樣的計(jì)算資源？

騰訊絕悟：訓(xùn)練使用384塊GPU，8.5w核CPU，平均每天自對戰(zhàn)局?jǐn)?shù)相當(dāng)于人類訓(xùn)練440年的量，訓(xùn)練周期持續(xù)訓(xùn)練半個(gè)月以上。

量子位：比賽過程中，絕悟需要怎樣的網(wǎng)絡(luò)和計(jì)算資源支持？

騰訊絕悟：網(wǎng)絡(luò)解碼不需要太大資源，正常服務(wù)器即可。1v1版本已經(jīng)有手機(jī)版本，目前在ChinaJoy對頂尖選手開放測試。

量子位：絕悟有什么弱點(diǎn)？有什么還沒玩家被解決的問題？

騰訊絕悟：有些我們不會(huì)稱為弱點(diǎn)，但很有意思的行為。

比如在此次測試中，最后不推水晶，要獎(jiǎng)勵(lì)最大化？賽事尾聲，人類賽區(qū)聯(lián)隊(duì)團(tuán)滅后，絕悟并未直接推水晶，而是在計(jì)算整體收益后，選擇先推完最后一個(gè)高地塔，再推水晶直至勝利。這是人類一般不會(huì)做的事情，但這符合 AI 的價(jià)值觀設(shè)定，就是最大化經(jīng)濟(jì)效益。

量子位：人類對手，尤其是職業(yè)玩家怎么評價(jià)絕悟？

騰訊絕悟：前期策略上，很早就多個(gè) AI 抱團(tuán)，甚至愿意犧牲兵線，換取血量優(yōu)勢；中期超強(qiáng)的兵線運(yùn)營策略；長期策略是一直保持游戲主動(dòng)權(quán)；團(tuán)戰(zhàn)的目標(biāo)選擇和控制銜接也很完美，體現(xiàn)了很強(qiáng)的團(tuán)隊(duì)協(xié)作能力。

量子位：團(tuán)隊(duì)介紹一下吧。

騰訊絕悟：是長期致力于游戲AI和多智能體研究的團(tuán)隊(duì)，部分成員來自圍棋AI絕藝的團(tuán)隊(duì)。

絕悟的研發(fā)是算法+算力高度結(jié)合，需要極致優(yōu)化的算力平臺(tái)和持續(xù)改進(jìn)的優(yōu)化算法，團(tuán)隊(duì)綜合了AI Lab的科研與工程人才資源，還聯(lián)合了我們所在的騰訊技術(shù)與工程事業(yè)部（TEG）旗下基礎(chǔ)架構(gòu)平臺(tái)部人才。主要工作包括模型、特征、算力、數(shù)據(jù)的優(yōu)化，機(jī)器虛擬化、搭建和優(yōu)化數(shù)據(jù)處理、并行計(jì)算和機(jī)器學(xué)習(xí)訓(xùn)練的平臺(tái)。

騰訊AI Lab一直是此類智能體研究的先行者。2016年起，研發(fā)的圍棋AI絕藝（Fine Art），現(xiàn)擔(dān)任中國國家圍棋隊(duì)訓(xùn)練專用AI；2017年，啟動(dòng)絕悟研發(fā)；2018 年，絕悟達(dá)到業(yè)余頂尖水平，騰訊還在射擊類頂級(jí) AI 競賽VizDoom奪冠，并在《星際爭霸2》首先研發(fā)出擊敗內(nèi)置AI的智能體。

量子位：普通人怎么能和絕悟交手？

騰訊絕悟：目前絕悟只是實(shí)驗(yàn)階段，沒有在游戲內(nèi)開放。

1v1版本在特定場合會(huì)做非常短期的測試，比如8月2日起在上海舉辦的國際數(shù)碼互動(dòng)娛樂展覽會(huì)ChinaJoy，1v1版本會(huì)向頂級(jí)業(yè)余玩家開放為期四天的體驗(yàn)測試。

絕悟之路

絕悟，是騰訊AI Lab和與王者榮耀共同探索的前沿研究項(xiàng)目：策略協(xié)作型AI。

絕悟這個(gè)名字，寓意“絕佳領(lǐng)悟力”。這個(gè)AI的研發(fā)始于2017年12月。2018年12月，絕悟5v5對陣《王者榮耀》王者段位人類玩家，大戰(zhàn)250局，拿下48%的勝率。現(xiàn)在，絕悟已經(jīng)超越王者段位水準(zhǔn)，達(dá)到職業(yè)電競選手的層次。

這次在吉隆坡和上海發(fā)威的絕悟版本，建立了基于“觀察-行動(dòng)-獎(jiǎng)勵(lì)”的深度強(qiáng)化學(xué)習(xí)模型，無需人類數(shù)據(jù)，從白板學(xué)習(xí)（Tabula Rasa）開始，讓AI自己與自己對戰(zhàn)。

AI一天的訓(xùn)練強(qiáng)度高達(dá)人類440年。

據(jù)騰訊介紹，AI從0到1摸索成功經(jīng)驗(yàn)，勤學(xué)苦練，既學(xué)會(huì)了如何站位、打野、輔助保護(hù)和躲避傷害等游戲常識(shí)。而且，AI還探索出了不同于人類常規(guī)做法的全新策略。在上面的對戰(zhàn)實(shí)況中，我們已經(jīng)可以感受到絕悟的不同之處。

絕悟的研發(fā)團(tuán)隊(duì)還創(chuàng)建One Model模型提升訓(xùn)練效率，優(yōu)化通信效率提升AI的團(tuán)隊(duì)協(xié)作能力，使用零和獎(jiǎng)懲機(jī)制讓AI能最大化團(tuán)隊(duì)利益，使其打法果斷，有舍有得。

游戲中測試的難點(diǎn)，是AI要在不完全信息、高度復(fù)雜度的情況作出復(fù)雜快速的決策。

在龐大且信息不完備的地圖上，10位參與者要在策略規(guī)劃、英雄選擇、技能應(yīng)用、路徑探索及團(tuán)隊(duì)協(xié)作上面臨大量、不間斷、即時(shí)的選擇，這帶來了極為復(fù)雜的局面，預(yù)計(jì)有高達(dá)10²⁰⁰⁰⁰種操作可能性，而整個(gè)宇宙原子總數(shù)也只是10⁸⁰。

如果AI能在如此復(fù)雜的環(huán)境中，學(xué)會(huì)人一樣實(shí)時(shí)感知、分析、理解、推理、決策到行動(dòng)，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。

騰訊副總裁姚星表示，“電子競技”將成為策略協(xié)作型AI“絕悟”未來短期內(nèi)的主要應(yīng)用場景。而長期應(yīng)用上，絕悟?qū)⑹球v訊攻克通用人工智能（AGI）的關(guān)鍵一步。

此前，騰訊另一個(gè)AI絕藝，在圍棋賽場上大殺四方。當(dāng)然對人工智能來說，王者榮耀是一個(gè)比圍棋復(fù)雜太多的難題。

絕悟背后的技術(shù)

對于這次的絕悟，騰訊AI Lab表示將通過論文等形式進(jìn)一步分享技術(shù)細(xì)節(jié)，通過開放研究，幫助和啟發(fā)更多研究者。

在這我們回顧一下騰訊此前發(fā)布了一篇關(guān)于王者榮耀的論文。在這篇論文中，騰訊表示絕悟是一個(gè)基于學(xué)習(xí)的分層宏觀策略（Hierarchical Macro Strategy）模型。經(jīng)過這個(gè)模型的熏陶，控制每個(gè)英雄的智能體就既能獨(dú)立做出決策又不忘與隊(duì)友溝通，成為頂尖選手。

名字里的“分層”，指的是這個(gè)模型分為注意力層（Attention Layer）和時(shí)期層（Phase layer），前者用來預(yù)測英雄該去哪兒，后者負(fù)責(zé)識(shí)別游戲進(jìn)行到了什么階段，是前期、對線還是后期。

我們先看注意力層，也就是AI怎樣判斷它的英雄該去哪兒。

培養(yǎng)這項(xiàng)能力，首先要有合適的訓(xùn)練數(shù)據(jù)，而在王者榮耀里，想判斷英雄“到了這兒”，最合適的標(biāo)準(zhǔn)莫過于“在這兒打起來了”。

于是，騰訊在標(biāo)注訓(xùn)練數(shù)據(jù)時(shí)，把下一次攻擊發(fā)生的地點(diǎn)，定為英雄現(xiàn)在該去的地點(diǎn)。

比如說上圖就以韓信為例，展示了游戲開局時(shí)英雄該往哪走。其中左側(cè)顯示的是游戲在初始階段s-1時(shí)的狀態(tài)，中間和右側(cè)紅框標(biāo)出的y_s、y_s+1顯示的是韓信進(jìn)行第一、二次攻擊的位置，也就是他在s-1、s兩個(gè)階段該去的位置。

AI的目標(biāo)，就是學(xué)會(huì)在s-1階段該準(zhǔn)備去y位置，在s階段該去y_s+1位置。

用這樣的數(shù)據(jù)訓(xùn)練注意力層，就能讓AI掌握英雄移動(dòng)的奧義。

知道了該去哪還不夠，要想上王者，還得會(huì)判斷局勢，調(diào)整策略。這就是時(shí)期層的工作了。

想知道游戲進(jìn)行到了前期、對線期還是后期，只靠時(shí)間當(dāng)然不夠。好在游戲里主要資源的狀況和階段密不可分。比如說，如果英雄還在以推外塔打暴君（小龍）為目標(biāo)，那游戲一定剛剛開局；如果打到了敵方家里，那當(dāng)然是后期了。

所以，教AI判斷局勢，根據(jù)的也是對敵方主要資源的打擊狀況，包括塔、暴君、主宰（大龍）和水晶（base）。

上圖顯示的就是時(shí)期層關(guān)注的敵方主要資源，模型要從中學(xué)會(huì)的，是根據(jù)資源狀況來判斷現(xiàn)在該打擊什么主要資源了，并進(jìn)一步判斷要完成哪些小目標(biāo)。

比如下圖顯示的偷藍(lán)buff（野怪）、清下路兵線，就都是推一塔這個(gè)時(shí)期的小目標(biāo)。

能分析局勢、確定目標(biāo)，還知道該往哪兒走，剩下的就是隊(duì)友之間的溝通配合問題了。

不過要學(xué)溝通，真的沒什么人類對戰(zhàn)的數(shù)據(jù)能拿來訓(xùn)練。畢竟人類隊(duì)友的溝通充滿怨念

于是，騰訊設(shè)計(jì)了一種全新的跨智能體溝通機(jī)制，用隊(duì)友的注意力標(biāo)簽來訓(xùn)練AI，讓它學(xué)會(huì)預(yù)測隊(duì)友要往哪走，并據(jù)此做出決策。

就這樣，一支隊(duì)伍中的5個(gè)智能體就可以協(xié)作了，也算是一種“溝通”機(jī)制吧。騰訊稱之為模仿跨智能體溝通（Imitated Crossagents Communication）。