我們可以用研究小白鼠的方式來研究 AI 嗎？或許可以。在一篇 ICLR 2020 Spotlight 論文中，DeepMind 和哈佛大學(xué)的研究者構(gòu)建了一個(gè)基于 AI 的虛擬小鼠，能夠執(zhí)行跑、跳、覓食、擊球等多項(xiàng)復(fù)雜任務(wù)。他們還嘗試用神經(jīng)科學(xué)技術(shù)來理解這個(gè)「人造大腦」如何控制其行為。或許這一成果可以為我們提供人工智能研究的新思路。

人工神經(jīng)網(wǎng)絡(luò)算是目前最為先進(jìn)的人工智能，這是一類由多層神經(jīng)元互聯(lián)組件構(gòu)成的機(jī)器學(xué)習(xí)算法，而「神經(jīng)元」最早就是來自大腦結(jié)構(gòu)的啟發(fā)。盡管人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元肯定不同于實(shí)際人腦中的工作方式，但越來越多的研究者認(rèn)為，將二者放在一起研究不僅可以幫助我們理解神經(jīng)科學(xué)，還有助于打造出更加智能的 AI。DeepMind 和哈佛大學(xué)的研究者就在這一思路上進(jìn)行了探索。

他們提出的是一種小鼠的 3D 模型，這一模型可在模擬環(huán)境中接受神經(jīng)網(wǎng)絡(luò)的控制。同時(shí)，他們用神經(jīng)科學(xué)技術(shù)來分析小鼠的大腦生物活動(dòng)，由此來理解神經(jīng)網(wǎng)絡(luò)如何控制小鼠的行為。該論文目前已被 ICLR 2020 大會(huì)接收為 Spotlight 論文。

論文鏈接：https://openreview.net/pdf?id=SyxrxR4KPS

論文作者之一、哈佛大學(xué)研究員 Jesse Marshall 表示，這個(gè)平臺(tái)相當(dāng)于神經(jīng)科學(xué)領(lǐng)域的風(fēng)洞，可以用不同程度的生物真實(shí)性來測試不同的神經(jīng)網(wǎng)絡(luò)，以此了解如何面對現(xiàn)實(shí)中的復(fù)雜挑戰(zhàn)。

「在神經(jīng)科學(xué)的典型實(shí)驗(yàn)中，研究人員通常會(huì)用敲擊杠桿之類的單一行為來窺探動(dòng)物的大腦活動(dòng)，而大多數(shù)機(jī)器人也是為了解決定制任務(wù)而制造的，比如掃地機(jī)器人。這篇文章算是我們研究大腦如何產(chǎn)生并實(shí)現(xiàn)靈活性的開端，然后可以按照我們所觀察到的結(jié)果來設(shè)計(jì)功能相似的人工智能產(chǎn)品。」

研究過程

構(gòu)造一只虛擬小鼠

如下圖 1 所示，研究者基于實(shí)驗(yàn)室小鼠的大小，在 MuJoCo 環(huán)境中（Todorov et al 于 2012 年提出）中實(shí)現(xiàn)了虛擬的小鼠身體。這個(gè)小鼠的可控自由度為 38，它的尾巴、脊柱和脖頸包含多段關(guān)節(jié)，并由共同驅(qū)動(dòng)多關(guān)節(jié)的肌腱控制（MuJoCo 中的空間肌腱）。這一虛擬小鼠將作為「dm_control/locomotion/」項(xiàng)目的一部分來開源。

項(xiàng)目地址：https://github.com/deepmind/dm_control/tree/master/dm_control/locomotion

虛擬小鼠可以獲得本體感應(yīng)信息（proprioceptive information）以及來自頭戴式攝像頭的「原始」、第一人稱 RGB 相機(jī)（64×64 像素）輸入。本體感應(yīng)信息包括：內(nèi)部關(guān)節(jié)角度和角速度、提供驅(qū)動(dòng)的肌腱的位置和速度、從小鼠骨盆到爪子、頭部的第一人稱向量、類前庭的垂直取向向量、爪子中的接觸感應(yīng)區(qū)，以及骨盆的第一人稱加速度、速度和 3D 角速度。

訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)

近期的研究表明，端到端強(qiáng)化學(xué)習(xí)可以生成單一的地形自適應(yīng)策略，基于此，研究者在多個(gè)依賴馬達(dá)控制（motorcontrol）的任務(wù)上訓(xùn)練了單一架構(gòu)，具體如下圖 3 所示。

圖 3：虛擬小鼠智能體架構(gòu)。

為了訓(xùn)練一個(gè)可以執(zhí)行所有四項(xiàng)任務(wù)的單一策略，研究者使用了用于動(dòng)作評價(jià)結(jié)構(gòu)（actor-critic）DeepRL 的 IMPALA-style 設(shè)置，并且通過直立跡（V-trace）和異策略校正（off-policy correction）對價(jià)值函數(shù)評價(jià)器進(jìn)行訓(xùn)練。

研究者在實(shí)驗(yàn)中發(fā)現(xiàn)，在與其他三個(gè)任務(wù)相關(guān)的交叉訓(xùn)練過程中，「逃離丘陵環(huán)境」任務(wù)的學(xué)習(xí)更具有挑戰(zhàn)性。因此，研究者展示了在「逃離」任務(wù)中訓(xùn)練一個(gè)單一任務(wù)專家以及使用針對該任務(wù)的 kick-starting 訓(xùn)練多任務(wù)策略的結(jié)果，并且得出的系數(shù)很弱（.001 或.005）。逃離任務(wù)上使用 kick-starting 可以使小鼠更可靠地完成所有四項(xiàng)任務(wù)，不同架構(gòu)的多任務(wù)策略之間也能更方便地進(jìn)行比較。最后生成單個(gè)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用虛擬輸入來決定小鼠的行為方式，并通過協(xié)調(diào)小鼠的身體來完成各項(xiàng)任務(wù)。

讓小鼠完成四項(xiàng)任務(wù)

研究者借助訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)指導(dǎo)小鼠完成四個(gè)動(dòng)作：跳過多個(gè)空隙、在迷宮中覓食、逃離丘陵環(huán)境、精確地?fù)羟颉?/p>

奔跑并躍過多個(gè)空隙。

覓食動(dòng)作：追逐藍(lán)色球體。

逃離丘陵。

用前爪精確擊球。

分析實(shí)驗(yàn)結(jié)果

小鼠順利完成任務(wù)之后，研究者結(jié)合虛擬小鼠的行為分析它的神經(jīng)網(wǎng)絡(luò)活動(dòng)，以探索它如何完成多項(xiàng)任務(wù)（下圖 4A）。他們使用了來自神經(jīng)科學(xué)的分析和擾動(dòng)技術(shù)，這一領(lǐng)域已經(jīng)開發(fā)出了一系列探索真實(shí)神經(jīng)網(wǎng)絡(luò)特性的技術(shù)。

研究者記錄了虛擬小鼠的運(yùn)動(dòng)學(xué)、關(guān)節(jié)、算力、感覺輸入以及 LSTM 在核心層和策略層的單元活動(dòng)。

圖 4：虛擬小鼠的行為學(xué)記錄。

但論文作者之一、哈佛大學(xué)研究生Diego Aldarondo表示，他們發(fā)現(xiàn)了一個(gè)有趣的事情：當(dāng)神經(jīng)活動(dòng)直接控制肌肉力量和腿部動(dòng)作時(shí)，這些活動(dòng)在比預(yù)期更長的時(shí)間尺度上出現(xiàn)。

這意味著神經(jīng)網(wǎng)絡(luò)似乎可以用一種抽象的符號來代表跑、跳、旋轉(zhuǎn)等多個(gè)任務(wù)，這是一種先前在嚙齒動(dòng)物和鳴禽動(dòng)物中都已觀察到的認(rèn)知模式。

研究意義

雖然神經(jīng)網(wǎng)絡(luò)不具備生理真實(shí)性，但加拿大麥吉爾大學(xué)的神經(jīng)科學(xué)家 Blake Richards 說，神經(jīng)網(wǎng)絡(luò)捕捉到了神經(jīng)處理過程中足夠多的重要特征，可以針對神經(jīng)活動(dòng)如何讓影響行為做出有用的預(yù)測。他說，這篇論文的最大貢獻(xiàn)就是提出了一種近乎真實(shí)的方式訓(xùn)練這些網(wǎng)絡(luò)，使它們更容易與生物數(shù)據(jù)進(jìn)行比較。

他還說，作者們正在提供一個(gè)平臺(tái)，用于訓(xùn)練一個(gè)真實(shí)的生物體和一系列的任務(wù)，讓與真實(shí)的嚙齒動(dòng)物大腦的對比更有意義。

從研究上說，人工神經(jīng)網(wǎng)絡(luò)還不適合與生物神經(jīng)網(wǎng)絡(luò)進(jìn)行過于寬泛的比較，但這種方法可能是探索行為的神經(jīng)基礎(chǔ)的一種好方法。

Scott 表示，記錄動(dòng)物行為并將其與特定行為聯(lián)系起來的復(fù)雜程度決定了，大多數(shù)實(shí)驗(yàn)都是在相對簡單的任務(wù)中完成的，而且實(shí)驗(yàn)的設(shè)定非常嚴(yán)格。而相比之下，虛擬小鼠卻可以實(shí)現(xiàn)非常復(fù)雜的、多部分的行為，例如覓食，這些行為可以與它的感官輸入和神經(jīng)活動(dòng)高度精確地聯(lián)系起來。

唯一的問題在于，我們難以從動(dòng)物身上收集任務(wù)設(shè)定如此復(fù)雜的神經(jīng)數(shù)據(jù)。Scott 表示，他希望研究人員能在實(shí)驗(yàn)室環(huán)境中讓虛擬小鼠完成更為簡單的任務(wù)，以使其神經(jīng)活動(dòng)模式可以和真實(shí)動(dòng)物中發(fā)現(xiàn)的那些進(jìn)行比較，以便了解它們之間的異同。