研究了半天人工神經網絡，還不如復制粘貼動物的答案？

最近一段時間，有關摩爾定律終結的討論時常出現，深度學習越來越高的算力需求與芯片制造廠商們「擠牙膏」式的換代速度產生了不可調和的矛盾。對此，一些研究者們正在專注于常規架構的效率提升，也有一些研究者把目光轉向于常規計算機體系之外，如光電計算、類腦計算，以及量子計算等方向。

現在，又有人想在動物身上尋找思路。在 1 月 13 日剛剛放榜的人工智能頂級會議ICLR 2021上出現了這樣一篇論文：研究者們「黑」進了果蠅的神經網絡，用它來跑 NLP 算法，結果發現性能與常規人工神經網絡相當，而且非常節約能耗。

這一通操作仿佛打開了新世界的大門。

神經科學中研究最深入的網絡之一是果蠅的大腦，尤其是稱為蘑菇體的部分。該部分能夠分析氣味、溫度、濕度和視覺數據等感官輸入，以便于果蠅學會區分友好刺激和危險刺激。神經科學家表示果蠅大腦的這一部分是由一組稱為投射神經元的細胞組成，這些細胞將感覺信息傳遞給 2000 個稱為 Kenyon 細胞（簡稱KC）的神經元，Kenyon 細胞連接在一起形成能夠學習的神經網絡。這讓果蠅在學習接近食物、潛在伴侶等時候，學會避免潛在的有害感官輸入（例如危險的氣味和溫度）。

這個相對較小的網絡具備的功能和靈活性讓神經科學家們好奇：是否可以對其進行編程以解決其他任務？

在倫斯勒理工學院、MIT-IBM Watson AI Lab 的研究者進行的一項入侵果蠅大腦網絡的研究中，人們成功地在生物大腦中執行了自然語言處理等任務。這是自然界的神經網絡第一次以這種方式被征用。研究者表示這個生物大腦網絡與人工學習網絡的性能相當，但使用的計算資源卻更少。

這種方法相對簡單直接，該團隊首先使用計算機程序重建蘑菇體所依賴的網絡，大量神經元將數據提供給大約 2000 個 Kenyon 細胞。然后研究者訓練了該網絡以識別文本中詞之間的相關性。該任務基于的思想是：一個詞可以通過其語境或通常在其附近出現的其他詞來表征。該想法首先從一個文本語料庫開始，然后面向每一個詞，分析出現在該詞前后的其他詞。

這樣機器學習系統可以在給定已經出現的詞的情況下預測句子中下一個詞。許多系統（例如 BERT）都使用這種方法來生成看起來自然的句子，該研究也采用了這種方法。事實證明即使自然界的網絡完全不是基于這一目的進化的，但它也非常擅長這種方式。該研究表明該網絡可以學習詞的語義表征。

研究者表示，果蠅的大腦網絡可與現有的自然語言處理方法相媲美，并且最重要的是生物網絡僅使用很少一部分計算資源。這意味著它僅使用較少的訓練時間和內存占用量。

生物的效率

這是一個有趣的結果。「我們把這樣的結果視為生物啟發算法普適性的一個范例，其與傳統的非生物算法相比更具效率，」該論文的作者 Yuchen Liang 等人說道。

這項工作除了展示生物計算的效率，還提出了一些有趣的問題。其中最明顯的就是：為什么生物神經網絡計算是如此的高效？當然按照進化的理論，自然界會選擇效率更高的神經網絡存留下來，但在論文中，研究者們尚未對 Kenyon 細胞為何具有高效率提出自己的看法。

這項工作顯然也開啟了「入侵」其他生物大腦的方向。不過目前看來人們仍面臨一些挑戰，一個潛在的問題是神經科學家們仍然難以對更復雜化的大腦進行表征（如哺乳動物）。果蠅的大腦相對較小，只有 10 萬個神經元，相比之下，老鼠的大腦有 1 億個神經元，而人類的大腦有 1000 億個神經元。因此在我們看到有小鼠、海豚或人類的大腦「被黑客入侵」之前，還需等待一段時間。

研究概況

論文：Can a Fruit Fly Learn Word Embeddings?

論文鏈接：https://openreview.net/forum?id=xfmSoxdxFCG

果蠅腦蘑菇體是神經科學中研究最多的系統之一，其核心由一群 Kenyon 細胞組成。這些細胞接受來自多種感官方式的輸入，被伽馬氨基丁酸能神經元（Anterior Paired Lateral Neurons，APL 神經元）抑制，從而創造了輸入的稀疏高維表征。

具體而言，其主要感知方式是嗅覺，但也有來自感知溫度、濕度、視覺的神經元的輸入。這些輸入通過一組突觸權重傳遞給大約 2000 個 Kenyon 細胞。Kenyon 細胞通過 APL 神經元相互連接，后者會發送一個強大的抑制信號到 Kenyon 細胞。這個循環網絡形成了 Kenyon 細胞之間的贏者通吃效應，并讓一小部分「冠軍」神經元之外的所有神經元都失聲了。

在這項論文中，研究者將該網絡模體（motif）進行了數學化建模，并將其應用于一項常見的 NLP 任務：學習非結構化文本語料庫中的詞與上下午之間的相關結構。

該研究提出的網絡模體如圖 1 所示，KC 也將輸出發送到蘑菇體輸出神經元 (MBON)，但是蘑菇體網絡的這一部分不包含在數學模型中。

圖 1: 網絡架構圖。幾組對應不同方式的神經元將它們的活動發送到 KC 層，而 KC 層通過與 APL 神經元的相互連接而被抑制。

總體而言，研究貢獻如下：

受果蠅網絡的啟發，研究者提出了一種算法，使得為單詞及其上下文生成 binary (相對于連續) 詞嵌入成為可能，并系統評估了該算法在詞匯相似性任務、詞義消歧和文本分類等任務上的表現；

與連續 GloVe 嵌入相比，本文的 binary 嵌入能產生更緊密和更好分離的概念集群，并且符合 GloVe 的 binarized 版本的集群特性；

研究者發現，訓練果蠅網絡所需要的計算時間比訓練傳統的 NLP 架構（如 BERT）所需要的計算時間要少一個數量級，但是在分類準確率上有所降低。

這一成果展示了人類將自然界算法及行為進行「重新編程」，并將其轉化為原始生物體從未參與過的任務的目標算法的巨大潛力。

實驗結果

在論文的第三章，研究者從靜態詞嵌入、詞聚類、上下文相關的詞嵌入、文本分類等幾個方面對研究提出的網絡進行了評估，以下是實驗結果。

靜態詞嵌入評價

詞聚類

上下文相關的詞嵌入

文本分類

計算效率

論文作者

本文第一作者 Yuchen Liang，本科畢業于浙江大學，在哥倫比亞大學獲得碩士學位，現為美國倫斯勒理工學院（Rensselaer Polytechnic Institute）在讀博士。研究興趣包括數據挖掘和機器學習技術。