首次！大模型自動搜索人工生命，做出AI科學家的Sakana AI又放大招

2024-12-25 12:04:34

今年 8 月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創立的人工智能公司 Sakana AI 造出了「世界上第一個用于自動化科學研究和開放式發現的 AI 系統」。

2024 臨近尾聲，AI 又給了所有人一個大驚喜，這次可以用來自動發現新的人工生命形式了。

今年 8 月，Transformer 論文作者之一的 Llion Jones 與前谷歌研究人員 David Ha 共同創立的人工智能公司 Sakana AI 造出了「世界上第一個用于自動化科學研究和開放式發現的 AI 系統」。他們稱之為 AI Scientist，即人工智能科學家，詳情可參閱報道《首個全自動科學發現 AI 系統，Transformer 作者創業公司 Sakana AI 推出 AI Scientist》。

而現在，他們又拿出了另一項震撼性的重磅研究成果：使用基礎模型搜索人工生命的系統 ASAL。

人工生命（Artificial Life），聽起來很科幻，但其定義并不復雜：就是被制造出來的生命。數學家約翰?何頓?康威在 1970 年提出的著名的「生命游戲」便是一種模擬人工生命系統，其中定義的規則可讓其中的「細胞」像生命體一樣運作。

研究人工生命的一個核心哲學理念是我們不僅想要了解「我們所知的生命」，還想要探索「可能存在的生命」。下圖為 ASAL 其中一位作者 Phillip Isola 的推文以及他分享的一種人工生命。

此外，人工生命研究還可以得到有望改變和加速 AI 進步的關鍵見解。該團隊表示：「通過利用 AI 加速人工生命的發現，我們可以加速對涌現、進化和智能的理解 —— 這些核心原則可以啟發下一代 AI 系統！」

該研究發布后吸引了大量點贊和討論。

知名博主 Aran Komatsuzaki 表示，這是視覺語言模型在人工生命中的首次應用，可以跨基質發現多樣性、全新的模擬生命。

目前，人工生命研究主要是通過計算模擬進行，而這種方法必然意味著搜索并描繪出整個可能的模擬空間，而不是研究任何單個模擬。這樣一來，研究者便可以了解不同的模擬配置可以怎樣產生不同的涌現行為。Sakana AI 的這篇論文首次實現了借助基礎模型來自動化這個搜索過程。另外，OpenAI、MIT等其他機構和獨立研究者也參與了研究。

論文標題：Automating the Search for Artificial Life with Foundation Models
論文地址：https://arxiv.org/pdf/2412.17799
在線論文：https://pub.sakana.ai/asal/
項目代碼：https://github.com/SakanaAI/asal/

雖然人工生命模擬的進化和學習的具體機制有很多，但迄今為止，該領域取得實質性進展的一個主要障礙是：缺乏一種系統的方法來搜索所有可能的模擬配置。如果沒有這種方法，在設計人工世界最重要的方面（世界本身的規則）時，研究者就必須依靠直覺。

對此，一部分挑戰在于簡單組件的大規模相互作用可能會產生復雜的涌現現象，這些現象很難甚至不可能被提前預測。

正是由于模擬配置與涌現現象之間缺乏關聯，因此研究者很難憑直覺設計出能展現出自我復制、類似生態系統的動態或具有開放屬性的模擬。因此，這一領域的實際做法往往是針對簡單和預期的結果來設計模擬，這就限制了意外發現的可能性。

也許，是時候自動化了！這樣，研究者就無需將注意力放在設定正確的規則和互動上，而可以關注更加高層面的問題，比如如何最好地描述我們最終希望涌現的現象，然后讓搜索該現象的過程自動完成即可。

不過，描述目標現象本身就極具挑戰性。雖然之前已經有一些研究試圖通過復雜的度量（比如生命、復雜度、有趣度等）來量化人工生命，但這些度量基本上都無法完全體現人類想要表達的那種微妙的生命概念。

Sakana AI 表示：「雖然我們還不了解我們的宇宙為何或如何變得如此復雜、豐富和有趣，但我們仍然可以將其作為指引，引導我們創建引人入勝的人工生命世界。」

該團隊認為，在大量自然數據上訓練得到的基礎模型具備類似于人類的表征，甚至可能基于我們的真實世界統計數據得到一個理想化的表征。這種特性使得基礎模型非常適合用于量化人類對人工生命復雜度的概念。

該團隊的 ASAL（自動搜索人工生命）研究便是基于這一思路開展的。他們表示這是一種人工生命研究的新范式。

既然是新范式，那么肯定需要做一些定義。

首先，該團隊將所需的模擬集合定義為 substrate，即基質。然后，如圖 1 所示，ASAL 讓基礎模型可使用三種不同的方法來識別所需的人工生命模擬：

監督式目標：搜索能產生指定目標事件或事件序列的模擬，有助于發現任意世界或與我們自己的世界相似的世界。
開放式：在基礎模型的表征空間中搜索會隨時間不斷提供新變化的模擬，由此可以發現對人類觀察者來說總是很有趣的世界。
闡明（Illumination）：搜索一組相關的多樣化模擬，從而展現對我們來說非常陌生的世界。

研究者基于 Boids、Particle Life（粒子生命）、Game of Life（生命游戲）、Lenia 和 Neural Cellular Automatas（神經元胞自動機）等多種人工生命基質展現了這種新的自動化方法的有效性。

在每種基質中，ASAL 都發現了以前從未見過的生命形式，并擴展了人工生命中涌現結構的邊界。例如，ASAL 揭示了 Boids 中奇異的群集模式、Lenia 中新的自組織細胞，并找到了像著名的康威生命游戲一樣開放式元胞自動機。

方法：自動搜索人工生命

圖 2 展示了新提出的 ASAL 范式，其中包括三種基于視覺 - 語言基礎模型的算法。每種方法都能通過不同類型的自動搜索發現人工生命模擬。深入細節之前，先來看看相關概念和符號。

人工生命基質（substrate），記為 S，其包含任何一組相關的人工生命模擬（例如，所有 Lenia 模擬的集合）。這些模擬可能在初始狀態、轉換規則或兩者上有所不同。S 由 θ 參數化，它定義的單個模擬具有三個分量：

初始狀態分布 Init_θ
前向動態階躍函數 Step_θ
渲染函數，Render_θ，作用是將狀態轉換為圖像

雖然通常而言，并不需要參數化和搜索渲染函數，但當狀態值難以先驗地解讀時，就很有必要了。將這些項串到一起，可定義一個 θ 函數，它對初始狀態 s_0 進行采樣，運行 T 步模擬，并將最終狀態渲染為圖像：

最后，還有另外兩個函數 VLM_img (?) 和 VLM_txt (?)，它們的作用是通過視覺 - 語言基礎模型嵌入圖像和自然語言文本，以及相應的內積 ??,??，以促進該嵌入空間的相似性測量。

監督式目標

人工生命的一個重要目標是找到能讓所需事件或事件序列發生的模擬。這樣的發現將使研究者能夠找到與我們自己的世界相似的世界，或測試某些反事實的進化軌跡在給定基質中是否可能，從而深入了解某些生命形式的可行性。

為此，ASAL 會搜索一種模擬，該模擬會產生與基礎模型表示中的目標自然語言提示詞相匹配的圖像。研究者可以控制在每個時間步驟應用哪個提示（如果有的話）。

開放式

人工生命的一大挑戰是尋找開放式模擬。找到這樣的世界才能復現現實世界中永無止境的有趣新奇事物的爆發。

盡管開放性是主觀的且難以定義，但正確表示空間的新穎性（novelty）可以體現開放性的一般概念。這樣一來，可將測量開放性的主觀性外包給表征函數的構建。在本文中，視覺 - 語言基礎模型表征充當了人類表征的代理。

闡明

人工生命的另一個關鍵目標是自動闡明不同現象構成的整個空間，而這些現象是從基質涌現出來的。基于此，可以讓我們了解「生命的可能模樣」。因此，闡明是描繪和分類整體基質的第一步。

為了實現這一目標，ASAL 會搜索一組模擬并且這些模擬產生的圖像與基礎模型表征中的最近鄰相距甚遠。該團隊發現最近鄰多樣性比基于方差的多樣性能實現更好的闡明。

實驗表明 ASAL 還真行

該團隊使用不同的基質驗證了 ASAL 范式的有效性。

首先，他們使用的基礎模型包括 CLIP 和 DINOv2。基質則如下所述：

Boids：模擬的是 N 個「鳥狀物體（boids）」在 2D 歐幾里得空間中的移動情況。所有 boids 都共享權重一樣的神經網絡，其會根據局部參考系中 K 個近鄰 boids 向左或向右操縱每個 boid。該基質是神經網絡的權重空間。
粒子生命：模擬 N 個粒子，這些粒子又可分為 K 類；它們在一個 2D 歐幾里得空間運動。該基質是 K × K 相互作用矩陣的空間，β 參數確定了粒子之間的距離。初始狀態是隨機采樣的，粒子會自組織形成動態模式。
類生命的元胞自動機（CA：將康威生命游戲泛化到所有在 2D 柵格中運作的二元狀態元胞自動機，其中狀態轉換僅取決于活著的 Moore 鄰居的數量和細胞的當前狀態。該基質有 2^18 = 262,144 種可能的模擬。
Lenia：將康威生命游戲推廣到連續空間和時間，允許更高的維度、多個核和多個通道。該團隊使用了 LeniaBreeder 代碼庫，它定義了基質，其中動態維度為 45 個，初始狀態維度為 32 × 32 × 3 = 3,072 個。其搜索空間以 Bert Wang-Chak Chan 2020 年在論文《Lenia and expanded universe》中找到的解為中心。
神經元胞自動機（NCA）：通過神經網絡表示局部轉換函數來參數化任何連續元胞自動機。該基質是神經網絡的權重空間。