?今年11月，世界杯又要開賽了。

到時(shí)候，不管踢不踢，踢得好還是踢得不好，又會(huì)有很多人開始聊足球了。

沒辦法，誰(shuí)叫足球是世界第一大運(yùn)動(dòng)呢。

不過相比于世界杯，科學(xué)家對(duì)年度機(jī)器人杯3D模擬聯(lián)盟更感興趣。

不久前，來自英國(guó)人工智能公司DeepMind的研究團(tuán)隊(duì)，利用一種加速版運(yùn)動(dòng)課程，通過計(jì)算機(jī)模擬數(shù)十年足球比賽的情況，訓(xùn)練AI學(xué)會(huì)了熟練地控制數(shù)字人形足球運(yùn)動(dòng)員。

相關(guān)研究發(fā)表在《科學(xué)·機(jī)器人》雜志上。

論文地址：https://www.science.org/doi/10.1126/scirobotics.abo0235

顯然，這已經(jīng)不是第一次「AI足球運(yùn)動(dòng)員」進(jìn)入大眾視野了。

AI足球運(yùn)動(dòng)員的進(jìn)化簡(jiǎn)史

早在2016年，AlphaGo在圍棋上戰(zhàn)勝李世石后沒多久，Deepmind就開始琢磨讓AI踢足球了。

當(dāng)年6月，DeepMind的研究人員讓AI控制一只螞蟻形狀的物體去追逐小球，然后帶球直至將其送進(jìn)球門得分。

根據(jù)DeepMind小組負(fù)責(zé)人David Silver的說法，借助當(dāng)時(shí)谷歌最新開發(fā)出異步Actor-Critic算法，即A3C，AI不僅完成了這個(gè)項(xiàng)目，而且在整個(gè)過程中不需要向他灌輸有關(guān)力學(xué)的知識(shí)。

這項(xiàng)實(shí)驗(yàn)，讓「AI踢足球」迎來了開門紅。

到了2019年，DeepMind已經(jīng)訓(xùn)練了許多「Player」，它們分別由不同訓(xùn)練計(jì)劃制作而成的，DeepMind從中選擇10個(gè)雙人足球團(tuán)隊(duì)。

這10個(gè)團(tuán)隊(duì)每個(gè)都有250億幀的學(xué)習(xí)經(jīng)驗(yàn)，DeepMind收集了它們之間的100萬(wàn)場(chǎng)比賽。

然后DeepMind設(shè)置環(huán)境，讓多個(gè)AI一起踢足球賽，并且提前設(shè)置了規(guī)則，獎(jiǎng)勵(lì)整個(gè)「足球隊(duì)」而不是去鼓勵(lì)某個(gè)「AI球員」的個(gè)人成績(jī)，以促成整個(gè)球隊(duì)的進(jìn)步。

DeepMind用這種方式證明了，AI是可以互相合作的。

看起來一切順利，然而到了2020年，DeepMind的AI球員出問題了。

根據(jù)腦極體提供的資料，在一場(chǎng)比賽中，一方的足球機(jī)器人排成一排向球門發(fā)起射擊，但機(jī)器人守門員卻并沒有準(zhǔn)備防守，而是一屁股倒在地上開始胡亂擺動(dòng)起了雙腿。

你以為這就完了？too naive！

接著，擔(dān)任前鋒的機(jī)器人球員跳了一段十分令人困惑的舞蹈，跺跺腳，揮揮手，啪嘰一下摔倒在地上。

這一幕讓觀眾極為震驚：見過放水的，沒見過這么放水的！

為何會(huì)這樣呢？

這還要從背后的原理說起。

「AI踢足球」的開始，研究人員就采用了強(qiáng)化學(xué)習(xí)這條道路。

此前，AlphaGo的學(xué)習(xí)是基于監(jiān)督學(xué)習(xí)，即通過標(biāo)記好的數(shù)據(jù)集來進(jìn)行訓(xùn)練的。

但這種方式對(duì)數(shù)據(jù)的「潔凈」程度要求高：一旦數(shù)據(jù)有問題，AI就會(huì)犯錯(cuò)。

與之相比，強(qiáng)化學(xué)習(xí)是模仿人類的學(xué)習(xí)模式，AI以「試錯(cuò)」的方式進(jìn)行學(xué)習(xí)，對(duì)了受獎(jiǎng)，錯(cuò)了受罰，從而建立正確的聯(lián)系。

看起來比傳統(tǒng)的監(jiān)督學(xué)習(xí)智能了不少，但還是有漏洞。

比如，AI會(huì)對(duì)獎(jiǎng)懲措施產(chǎn)生錯(cuò)誤的理解，因而生成奇怪的策略。

OpenAI曾經(jīng)設(shè)計(jì)了一個(gè)賽艇游戲，AI原本的任務(wù)是完成比賽。

研究者設(shè)置了兩種獎(jiǎng)勵(lì)，一是完成比賽，二是收集環(huán)境中的得分。結(jié)果就是智能體找到了一片區(qū)域，在那里不停地轉(zhuǎn)圈「刷分」，最后自然沒能完成比賽，但它的得分反而更高。

這次，AI踢出了什么新花樣

雖然AI踢足球出現(xiàn)過翻車現(xiàn)場(chǎng)，但研究人員沒有放棄。

文章開頭提到，DeepMind的研究團(tuán)隊(duì)在訓(xùn)練「AI足球運(yùn)動(dòng)員」上有了新突破。

據(jù)論文描述，盡管DeepMind團(tuán)隊(duì)在此次研究中簡(jiǎn)化了游戲規(guī)則，并將兩隊(duì)球員人數(shù)限定在了2-3人，但「AI足球運(yùn)動(dòng)員」可以完成帶球突破、身體對(duì)抗、精準(zhǔn)射門等動(dòng)作。

那研究人員是怎么訓(xùn)練「AI足球運(yùn)動(dòng)員」的呢？

簡(jiǎn)單來說，是將監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)結(jié)合起來。

第一步，AI需要觀看人類踢足球的視頻剪輯，學(xué)會(huì)自然行走，因?yàn)锳I開始并不知道要在足球場(chǎng)上做什么。

第二步，AI在強(qiáng)化學(xué)習(xí)的算法下，練習(xí)運(yùn)球和射門。

這兩步，AI大約能在24小時(shí)內(nèi)完成。

第三步，就用用比賽的形式訓(xùn)練，AI機(jī)器人進(jìn)行2對(duì)2比賽，這一步需要耗時(shí)2到3周，主要是讓AI學(xué)會(huì)團(tuán)隊(duì)協(xié)作,以及預(yù)測(cè)傳球等更高難度的運(yùn)動(dòng)控制。

這次「AI 足球運(yùn)動(dòng)員」的表現(xiàn)還是讓研究團(tuán)隊(duì)覺得比較滿意。

DeepMind團(tuán)隊(duì)認(rèn)為，這一研究推動(dòng)了人工系統(tǒng)向人類水平運(yùn)動(dòng)智能向前邁進(jìn)。

不過，DeepMind團(tuán)隊(duì)還是比較清醒，他們知道，這次突破還是有局限性的。

比如，比賽是2v2，而不是現(xiàn)實(shí)足球比賽常用的11v11，還不能說明AI可以參加更復(fù)雜的足球比賽。

此外，即便是簡(jiǎn)單的2v2比賽，也沒法直接用在機(jī)器人硬件上。

換句話說，科學(xué)家們還不能研制出可以踢足球的機(jī)器人。

參考資料：https://www.science.org/doi/10.1126/scirobotics.abo0235

https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html?guccounter=2

https://www.woshipm.com/ai/3619952.htmlhttp://it.people.com.cn/n1/2016/0622/c1009-28467916.html?