大家好，我是肆〇柒。今天，我們來聊聊 SCIENCEBOARD，這是一個由香港大學、上海人工智能實驗室、復旦大學、北京大學、南京大學、華東師范大學和耶魯大學等，多所知名高校和研究機構(gòu)共同打造的創(chuàng)新平臺。它致力于在多域科學工作流中評估多模態(tài)自主智能體，為推動 AI 驅(qū)動的科學發(fā)現(xiàn)提供了全新的方法和工具。在現(xiàn)代科學探索中，專業(yè)工具的重要性日益凸顯，它們深度賦能科研人員，助力他們在學術(shù)假設構(gòu)建、結(jié)果驗證以及科學認知拓展的征程中穩(wěn)步前行。隨著科研工具復雜性與日俱增，以及對高效科研工作流的迫切需求，自主智能體在自動化研究流程和協(xié)助人類科學家方面展現(xiàn)出巨大的潛力。如果沒有智能工具輔助，人類科學家可能需要花費數(shù)周時間精通一款蛋白質(zhì)分析工具，并投入數(shù)小時進行充分觀察，而自主智能體卻能在短短幾分鐘內(nèi)完成相同任務。這種高效的自主智能體，不僅能實現(xiàn)從工具使用到新穎發(fā)現(xiàn)的全流程自動化，還能為科學家們帶來前所未有的強大助力。

在這樣的背景下，研究者提出了 SCIENCEBOARD。它帶來了雙重創(chuàng)新貢獻：一方面，它打造了一個現(xiàn)實的多域環(huán)境，將動態(tài)且視覺豐富的科學工作流與專業(yè)軟件深度融合，智能體能夠通過不同界面自主交互，加速復雜科研任務與實驗；另一方面，它精心策劃了一個包含 169 個高質(zhì)量、嚴謹驗證的真實世界任務的基準測試，涵蓋生物化學、天文學和地理信息學等多個科學發(fā)現(xiàn)工作流領域。對使用先進模型（如 GPT-4o、Claude 3.7、UI-TARS）的智能體進行廣泛評估后發(fā)現(xiàn)，盡管取得了一些令人鼓舞的結(jié)果，但它們在可靠協(xié)助科學家處理復雜工作流方面的成功率僅為 15%。在深入分析部分，進一步提供了關(guān)于解決當前智能體局限性，以及更高效設計原則的寶貴見解，為構(gòu)建更強大的科學發(fā)現(xiàn)智能體鋪平道路。SCIENCEBOARD 的代碼、基準測試和排行榜已在官網(wǎng)開放，為科研人員提供了一個寶貴的資源平臺。

SCIENCEBOARD 是一個創(chuàng)新的計算機環(huán)境，專為科學發(fā)現(xiàn)智能體而設計，它集成了多種專業(yè)軟件和工具。作為基礎設施，讓使用計算機的智能體能夠協(xié)助科學工作流程。根據(jù)指令，智能體會通過圖形用戶界面操作或生成代碼自主地與環(huán)境交互，以完成實際任務

相關(guān)工作

Computer Use 智能體的發(fā)展歷程

Computer Use 智能體的進化歷程是一段充滿創(chuàng)新與突破的旅程。早期的智能體只能執(zhí)行簡單的腳本任務，而如今，它們已經(jīng)發(fā)展到能夠處理復雜的命令行界面（CLI）和圖形用戶界面（GUI）操作。CLI 智能體通過生成可執(zhí)行腳本，實現(xiàn)了任務的自動化執(zhí)行，例如生成 Python 或 Shell 腳本以操作計算機。這種智能體在辦公自動化、軟件測試等領域大顯身手，其優(yōu)勢在于能夠通過代碼合成或調(diào)用 API 來精確操控計算機。而 GUI 智能體則另辟蹊徑，借助視覺 - 語言模型模擬人類操作，通過鼠標和鍵盤動作與數(shù)字設備互動，為自動化桌面和移動任務開辟了新的可能性。

這些智能體在多個領域的成功應用案例更是令人矚目。在辦公自動化中，它們能夠高效處理文檔、表格和郵件；在軟件測試中，它們可以模擬用戶操作以發(fā)現(xiàn)潛在的漏洞和問題；在游戲領域，它們可以扮演游戲角色，探索游戲世界并完成任務。這些應用成果不僅展示了 Computer Use 智能體的強大能力，也為它們在科學工作流中的應用奠定了堅實的基礎。

在科學工作流中，Computer Use 智能體的潛在價值不可估量。它們可以協(xié)助科學家們處理繁瑣的實驗數(shù)據(jù)、運行復雜的模擬程序、分析實驗結(jié)果，并生成專業(yè)的科研報告。例如，在生物信息學領域，智能體可以自動分析基因序列數(shù)據(jù)，提取關(guān)鍵特征并進行分類；在物理學模擬中，它們可以調(diào)整模擬參數(shù)，運行模擬程序，并對結(jié)果進行初步分析。這些應用不僅提高了科研效率，還使科學家們能夠?qū)⒏嗑ν度氲絼?chuàng)造性的工作中。

智能體在科學發(fā)現(xiàn)中的多元應用

大型語言模型（LLM）和視覺 - 語言模型（VLM）在科學發(fā)現(xiàn)的各個階段都發(fā)揮著重要作用。在假設生成階段，LLM 通過對海量科學文獻的學習和分析，提取關(guān)鍵信息并進行知識融合，為研究人員提供新穎且具有科學依據(jù)的研究思路和假設。例如，LLM 可以分析數(shù)以萬計的科研論文，識別出研究中的空白和潛在的突破點，從而激發(fā)科學家們的靈感。

在數(shù)據(jù)分析階段，VLM 憑借其強大的視覺和語言理解能力，對科學實驗數(shù)據(jù)進行解讀、分析和可視化，挖掘數(shù)據(jù)背后的規(guī)律和趨勢。以天文學為例，VLM 可以分析天文望遠鏡拍攝的圖像數(shù)據(jù)，識別出星系、恒星和行星等天體，并對其運動軌跡和物理特性進行分析。這種能力對于處理大規(guī)模科學數(shù)據(jù)集至關(guān)重要，能夠幫助科學家們更快地發(fā)現(xiàn)有價值的信息。

與 SCIENCEBOARD 相比，以往的工作大多集中在特定的科學領域或任務上，而 SCIENCEBOARD 的獨特之處在于其集成多域科學軟件、構(gòu)建高度逼真的科學工作流環(huán)境以及設計系統(tǒng)性的基準任務。它不僅涵蓋了多個科學領域，還提供了豐富的任務類型和難度級別，為智能體的全面評估提供了一個理想的平臺。

SCIENCEBOARD 環(huán)境

環(huán)境構(gòu)建與技術(shù)細節(jié)

SCIENCEBOARD 環(huán)境基于 Ubuntu 虛擬機精心構(gòu)建，目的是為了實現(xiàn)對真實世界科學軟件的無縫集成和高效操作支持。在實驗中，它采用了 Linux 環(huán)境（Ubuntu 22.04.1 LTS 與 kernel 6.8.0-57-generic），運行在 x64 個人電腦上。這種虛擬機配置不僅確保了系統(tǒng)的穩(wěn)定性和兼容性，還為每個實驗任務提供了獨立且可控的運行環(huán)境，保障了實驗結(jié)果的可靠性和可重復性。

為了實現(xiàn)與各類科學軟件的兼容性與可操作性，環(huán)境進行了精心配置和優(yōu)化。例如，針對不同的科學軟件，環(huán)境會調(diào)整屏幕分辨率、設置環(huán)境變量、配置網(wǎng)絡連接等，以確保軟件能夠正常運行并發(fā)揮最佳性能。同時，虛擬機技術(shù)的應用使得每個實驗任務都能在獨立的環(huán)境中進行，避免了不同任務之間的相互干擾。

SCIENCEBOARD基礎設施概述。該可擴展環(huán)境基于預裝了科學發(fā)現(xiàn)軟件的虛擬機（VM）構(gòu)建而成。它支持命令行界面（CLI）和圖形用戶界面（GUI），以便實現(xiàn)智能體的自主交互。對于每個旨在評估智能體作為研究助手能力的任務，都提供了初始化腳本、配置文件及相關(guān)文件。智能體通過視覺或文本模態(tài)感知環(huán)境，并需要據(jù)此進行規(guī)劃和行動。交互結(jié)束后，評估函數(shù)將根據(jù)虛擬機內(nèi)部狀態(tài)來確定任務完成情況

任務定義與互動模型

在 SCIENCEBOARD 中，智能體與環(huán)境的交互機制基于部分可觀測馬爾可夫決策過程（POMDP），這一模型通過元組 ?g, S, A, O, T ? 來定義。其中，g 表示目標，S 是狀態(tài)空間，A 是動作空間，O 是觀測空間（包括環(huán)境反饋），而 T : S × A → S 則是狀態(tài)轉(zhuǎn)移函數(shù)。智能體在每個時間步 t 根據(jù)目標 g 和記憶 mt = oj, aj, oj+1, aj+1, … , ot（0 ≤ j < t）來預測動作，記憶 mt 記錄了過去的動作和觀測序列。

具體來看，目標 g 由自然語言（NL）指令指定，例如 “以球形風格顯示原子”。策略模型將復雜的指令分解為一系列動作。SCIENCEBOARD 設計了一個統(tǒng)一的動作空間 A，集成了科學任務中各種關(guān)鍵的交互模式。對于 GUI 動作，智能體可以執(zhí)行完整的計算機 - 人機交互動作，包括鼠標移動、點擊、鍵盤輸入等。對于 CLI 動作，智能體可以在 Ubuntu 終端內(nèi)調(diào)用系統(tǒng)級命令，并利用應用程序特定的 CLI 或腳本機制。此外，A 還包含一個回答動作，使智能體能夠針對問答任務提供特定答案，以及一個調(diào)用 API 的動作，以擴展智能體的能力。

觀測與記憶機制

SCIENCEBOARD 中的觀測空間分為三種類型：純文本、純視覺和文本 - 視覺組合。對于純文本觀測，系統(tǒng)使用無障礙樹（a11ytree）生成結(jié)構(gòu)化的文本表示。無障礙樹是一種層次結(jié)構(gòu)，能夠表示屏幕上的 UI 元素。對于視覺觀測，系統(tǒng)直接捕獲高分辨率屏幕截圖。文本 - 視覺組合觀測則結(jié)合了文本和視覺信息，為智能體提供了更全面的環(huán)境感知。

智能體需要記憶機制來保留歷史信息，以便在規(guī)劃和決策過程中考慮長期依賴關(guān)系。SCIENCEBOARD 通過連接智能體最近的觀測來構(gòu)建這種記憶。例如，智能體在執(zhí)行一系列操作時，會記錄每個步驟的觀測結(jié)果和所采取的動作，從而形成一個包含豐富歷史信息的記憶序列。這種記憶機制對于處理復雜的多步驟任務至關(guān)重要，它使智能體能夠根據(jù)過去的經(jīng)驗來指導當前和未來的操作。

目標與統(tǒng)一動作空間

自然語言指令通過語義解析和任務規(guī)劃模塊精準映射到智能體的具體執(zhí)行動作。在 SCIENCEBOARD 中，這一過程涉及到對指令的深入理解以及將其轉(zhuǎn)化為智能體可執(zhí)行的動作序列。例如，當指令要求智能體在 ChimeraX 中預測蛋白質(zhì)結(jié)構(gòu)時，智能體需要識別出這一任務涉及啟動 ChimeraX 軟件、選擇 AlphaFold 插件、輸入氨基酸序列等具體步驟。

SCIENCEBOARD 為科學任務設計的統(tǒng)一動作空間涵蓋了豐富的 GUI 和 CLI 動作。GUI 動作包括鼠標點擊、雙擊、拖動、右鍵單擊等，而 CLI 動作則涉及系統(tǒng)命令調(diào)用和應用程序特定命令執(zhí)行。這些動作與科學軟件的界面元素和功能模塊深度交互，實現(xiàn)對軟件的精確控制。例如，在 ChimeraX 中，智能體可以通過 GUI 動作選擇特定的分子結(jié)構(gòu)顯示模式，或者通過 CLI 動作運行腳本來執(zhí)行批量處理任務。

LLM/VLM - 基礎策略模型

根據(jù)智能體的觀測空間和任務需求，選擇和定制合適的 LLM/VLM 作為策略模型是 SCIENCEBOARD 的關(guān)鍵環(huán)節(jié)。在純文本觀測空間下，LLM 通過對文本信息的理解和推理，生成合理的動作指令。例如，當智能體需要在 GrassGIS 中執(zhí)行地理空間數(shù)據(jù)分析任務時，LLM 會根據(jù)任務指令和軟件界面的文本信息，生成相應的 CLI 命令或 GUI 操作步驟。

在視覺觀測空間下，VLM 利用其視覺編碼器對界面圖像進行特征提取，并結(jié)合語言模型進行動作決策。例如，在 Celestia 中模擬太陽系行星軌道任務時，VLM 會分析軟件界面的視覺布局，識別出行星軌道的顯示區(qū)域，并據(jù)此生成相應的操作指令。為了提高智能體的任務完成效率和成功率，SCIENCEBOARD 采用強化學習和監(jiān)督學習等方法對策略模型進行優(yōu)化和訓練。例如，通過對智能體在歷史任務中的表現(xiàn)進行獎勵信號的反饋，強化學習能夠指導智能體學習到更優(yōu)的動作策略。

SCIENCEBOARD 評估框架

科學軟件安裝與適應技術(shù)

SCIENCEBOARD 針對各領域的開源應用進行了精心選擇和深度修改，以適應評估框架的要求。以 ChimeraX 和 Celestia 等軟件為例，為了實現(xiàn)對軟件運行時狀態(tài)的實時監(jiān)控和數(shù)據(jù)獲取，SCIENCEBOARD 為其注入了輕量級服務器。這些服務器能夠通過 HTTP 請求暴露軟件的內(nèi)部狀態(tài)，使智能體能夠獲取關(guān)鍵信息并據(jù)此進行操作。

此外，SCIENCEBOARD 還通過修改軟件源代碼，實現(xiàn)了對軟件界面元素的精細控制和狀態(tài)查詢功能。例如，在 GrassGIS 中，智能體可以通過特定的 API 調(diào)用來獲取地理空間數(shù)據(jù)的屬性信息，或者在 Celestia 中查詢天體的位置和運動狀態(tài)。這些技術(shù)手段不僅為智能體的操作提供了精確的反饋信息，還為每個科學軟件構(gòu)建了高度逼真的實驗環(huán)境，模擬真實科研工作中的各種操作場景和任務需求。

智能體與環(huán)境互動流程

在 ChimeraX 中進行蛋白質(zhì)結(jié)構(gòu)預測任務的實例中，智能體首先接收環(huán)境提供的觀測信息，這些信息可能包括軟件界面的視覺圖像、無障礙樹生成的文本描述等。根據(jù)這些觀測信息，智能體通過其策略模型生成動作指令，例如點擊特定的按鈕、輸入氨基酸序列、調(diào)用 AlphaFold 插件等。智能體執(zhí)行這些動作后，環(huán)境會根據(jù)動作更新狀態(tài)，并向智能體反饋新的觀測信息。這一過程持續(xù)進行，直到智能體完成任務目標或達到嘗試次數(shù)上限。

在 Celestia 中模擬太陽系行星軌道任務時，智能體需要通過類似的交互流程來完成任務。它可能需要調(diào)整視圖角度、設置時間參數(shù)、啟動模擬過程等。在每一步操作中，智能體都會根據(jù)環(huán)境反饋的信息來調(diào)整其策略，以確保任務的順利進行。

評估流程與標準體系

SCIENCEBOARD 的評估方法基于工作流關(guān)鍵 I/O 正確性和虛擬機最終狀態(tài)。評估標準涵蓋了精確匹配（如嚴格等于、行集合等于、問答匹配等）、范圍檢查、值的存在性與不存在性驗證等多個方面。例如，在評估智能體是否成功完成蛋白質(zhì)結(jié)構(gòu)預測任務時，系統(tǒng)會檢查預測結(jié)果是否與標準答案嚴格匹配，或者在允許的誤差范圍內(nèi)。

評估模板的設計使得 SCIENCEBOARD 能夠靈活適應不同領域的科學任務。每個評估模板都包含一系列參數(shù)和預期的金標準值，這些參數(shù)可以根據(jù)具體任務進行調(diào)整。例如，在評估 Celestia 中的行星軌道模擬任務時，模板會定義行星位置和軌道參數(shù)的允許誤差范圍，以及模擬時間的設置等。通過這種方式，SCIENCEBOARD 確保了評估結(jié)果的科學性和可靠性。

SCIENCEBOARD的典型評估案例包括精確匹配、基于范圍的評估以及帶有容差的數(shù)值任務。研究人員針對每項任務定制了相應的評估方法

SCIENCEBOARD 基準任務

領域與任務覆蓋深度分析

SCIENCEBOARD 涵蓋的六大領域（生物化學、代數(shù)、定理證明、地理信息系統(tǒng)、天文學和科學文檔）為智能體的全面評估提供了豐富的任務場景。在生物化學領域，ChimeraX 軟件的功能特點使其成為研究分子結(jié)構(gòu)建模、蛋白質(zhì)折疊模擬、生物大分子相互作用分析等任務的理想工具。智能體可以通過與 ChimeraX 的交互，執(zhí)行諸如預測蛋白質(zhì)結(jié)構(gòu)、分析分子間相互作用等復雜任務。

在天文學領域，Celestia 軟件在模擬宇宙天體運行、天文現(xiàn)象觀測、宇宙探索教育等方面具有重要價值。智能體可以利用 Celestia 的功能，完成模擬行星軌道、計算天體位置、展示宇宙演化等任務。例如，智能體可以根據(jù)給定的時間參數(shù)，在 Celestia 中生成太陽系行星的軌道模擬圖像，并驗證其與實際觀測數(shù)據(jù)的符合程度。

任務標注流程與質(zhì)量保障

任務標注流程從學習教程開始，標注者首先需要深入學習相關(guān)軟件的功能和操作方法。以生物化學領域的一個任務為例，標注者會從 ChimeraX 的官方教程和操作手冊中學習如何使用該軟件進行蛋白質(zhì)結(jié)構(gòu)預測。接下來，標注者會根據(jù)軟件的功能特點，設計具有科學價值和合理難度的任務指令，例如 “使用 ChimeraX 預測給定氨基酸序列的蛋白質(zhì)結(jié)構(gòu)”。

在任務正式化與驗證階段，標注者會對設計的任務進行跨標注者驗證和執(zhí)行驗證，確保任務的準確性和可執(zhí)行性。例如，多個標注者會獨立執(zhí)行該任務，檢查任務指令是否清晰、操作步驟是否合理、預期結(jié)果是否能夠達成。同時，標注者會編寫配置函數(shù)，為任務提供必要的初始條件和數(shù)據(jù)支持，例如準備特定的氨基酸序列文件。

最后，標注者會開發(fā)評估函數(shù)，對智能體的任務完成情況進行精確評估。例如，在蛋白質(zhì)結(jié)構(gòu)預測任務中，評估函數(shù)會檢查智能體生成的結(jié)構(gòu)與標準結(jié)構(gòu)的相似度，以及任務執(zhí)行過程中是否遵循了正確的操作流程。整個任務標注過程中的質(zhì)量保障措施，如標注者培訓、任務審核機制、數(shù)據(jù)一致性檢查等，確保了標注任務的高質(zhì)量和高可靠性。

SCIENCEBOARD 基準測試任務的標注流程

任務統(tǒng)計與多樣性分析

SCIENCEBOARD 基準任務的統(tǒng)計信息顯示，其涵蓋了 169 個獨特任務，分布在 6 個領域中。任務類型包括 GUI、CLI 以及 GUI + CLI 組合操作，其中 GUI + CLI 任務占比最高，達到 58.0%。任務難度分為簡單、中等和困難三個級別，簡單任務占比 53.8%，中等任務占比 28.4%，困難任務占比 16.6%。此外，還有少量開放問題任務，占比 1.2%。

通過 t-SNE 可視化技術(shù)對任務指令進行嵌入和降維分析，可以直觀地展示不同領域任務之間的語義分布和多樣性特點。例如，生物化學領域的任務主要集中在分子結(jié)構(gòu)操作和分析方面，而天文學領域的任務則涉及天體運動模擬和宇宙現(xiàn)象展示。這種多樣性確保了 SCIENCEBOARD 基準任務能夠全面覆蓋科學工作流中的各種關(guān)鍵技能和知識要求，為智能體的綜合能力評估提供了堅實的基礎。

SCIENCEBOARD基準測試中的任務分布

 SCIENCEBOARD 的統(tǒng)計數(shù)據(jù)

實驗

實驗設置與模型體系

在實驗中，SCIENCEBOARD 評估了多種先進的智能體模型，包括專有模型、開源模型和 GUI 動作模型。專有模型如 GPT-4o、Claude-3.7-Sonnet 等，在大規(guī)模語言模型訓練、知識表示、推理能力等方面具有顯著優(yōu)勢。例如，GPT-4o 憑借其強大的語言理解和生成能力，能夠在代數(shù)領域取得較好的成績，成功解決復雜的數(shù)學問題。

開源模型如 Qwen2.5-VL-72B-Instruct、InternVL3-78B 等，在多模態(tài)融合、視覺 - 語言交互、模型優(yōu)化等方面表現(xiàn)出色。Qwen2.5-VL-72B-Instruct 特別擅長處理 GUI 任務，其先進的視覺理解和操作能力使其在與圖形界面交互時表現(xiàn)優(yōu)異。

GUI 動作模型如 OS-Atlas-Pro-7B、UGround-V1-7B 等，則在 GUI 元素定位、像素級操作、視覺理解等方面具有專業(yè)能力。OS-Atlas-Pro-7B 通過其精準的 GUI 操作能力，在需要精細界面控制的任務中發(fā)揮了重要作用。

不同的觀測空間設置（如純文本、純視覺、文本 - 視覺組合、基于 Set-of-Mark 的視覺提示等）為智能體提供了多樣化的觀測輸入。例如，在純文本觀測空間下，智能體主要依賴無障礙樹生成的文本信息來理解任務和執(zhí)行操作；而在純視覺觀測空間下，智能體則通過分析屏幕截圖來獲取界面布局和元素信息。這些多樣化的觀測空間設置使智能體能夠適應不同類型科學任務的需求。

實驗結(jié)果深度剖析

實驗結(jié)果顯示，不同模型在各科學領域和不同觀測設置下的成功率存在顯著差異。在代數(shù)領域，GPT-4o 等模型憑借其強大的數(shù)學推理能力和符號計算能力，能夠有效解決公式求解、方程組處理等任務。例如，在解決線性方程組問題時，GPT-4o 能夠準確識別變量和方程結(jié)構(gòu)，并通過合理的數(shù)學變換求解出正確答案。

然而，在地理信息系統(tǒng)和天文學領域，模型的表現(xiàn)相對較差。這主要是由于這些領域任務對視覺空間信息處理的要求較高，而模型在處理復雜視覺場景和科學領域?qū)I(yè)知識方面的局限性。例如，在 GrassGIS 中進行地理空間數(shù)據(jù)分析任務時，智能體需要準確識別地圖上的地理要素、理解空間關(guān)系并進行復雜的屬性分析。但由于模型在視覺理解和空間推理能力方面的不足，難以有效完成這些任務。

 在SCIENCEBOARD上，LLM（大型語言模型）和VLM（視覺語言模型）智能體的成功率。展示了不同科學領域下，各智能體骨干架構(gòu)在多種觀測設置中的表現(xiàn)情況。專有模型和開源模型VLM/LLM通過顏色加以區(qū)分

領域特定性能差異探究

進一步分析表明，模型架構(gòu)、訓練數(shù)據(jù)和任務特點等因素共同影響了智能體在不同科學領域的性能表現(xiàn)。例如，GPT-4o 等專有模型在處理文本信息時具有優(yōu)勢，因為它們的架構(gòu)和訓練數(shù)據(jù)更側(cè)重于語言理解和推理。而在需要大量視覺處理的領域，如天文學和地理信息系統(tǒng)，開源模型如 Qwen2.5-VL-72B-Instruct 憑借其在多模態(tài)融合方面的優(yōu)化，表現(xiàn)出相對較好的性能。

訓練數(shù)據(jù)的差異也對模型性能產(chǎn)生了重要影響。一些模型在訓練過程中接觸了更多數(shù)學和邏輯推理相關(guān)的數(shù)據(jù)，因此在代數(shù)和定理證明領域表現(xiàn)較好。而另一些模型則在視覺和語言融合方面接受了更多的訓練，使其在涉及圖形界面操作的任務中更具優(yōu)勢。

任務特點同樣對模型性能有顯著影響。例如，代數(shù)任務通常具有明確的求解步驟和可驗證的答案，而地理信息系統(tǒng)和天文學任務往往需要處理復雜的視覺信息和進行長周期的規(guī)劃。這些任務特點與模型的能力特點相互作用，導致了不同的性能表現(xiàn)。

觀測空間影響機制研究

不同觀測空間對模型性能的影響機制也值得深入探討。在文本觀測空間下，模型能夠獲取豐富的語義信息，這有助于理解任務指令和軟件界面元素的含義。然而，在涉及視覺定位和空間關(guān)系理解時，模型可能會遇到困難。例如，在需要精確點擊界面元素的任務中，模型可能難以準確判斷元素的位置和大小。

在視覺觀測空間下，模型可以直接感知軟件界面的視覺布局和操作目標的視覺特征，但可能面臨視覺元素復雜、信息過載等問題。例如，在 Celestia 中模擬宇宙天體運行時，界面中可能包含大量的天體圖像和復雜的可視化效果，這會使模型難以區(qū)分關(guān)鍵元素并進行有效的操作。

通過對比不同觀測空間設置下的模型性能，可以發(fā)現(xiàn)文本 - 視覺組合觀測空間通常能夠提供更全面的信息，從而提高模型的任務表現(xiàn)。例如，在 ChimeraX 中進行蛋白質(zhì)結(jié)構(gòu)預測任務時，結(jié)合文本和視覺信息的觀測空間能夠幫助模型更準確地識別界面元素和執(zhí)行操作步驟。

Figure 5: GUI + CLI vs 僅 GUI

分析與討論

解耦規(guī)劃與行動的實驗探索與成果

將規(guī)劃與行動解耦的實驗探索揭示了模塊化方法在解決復雜科學軟件工作流中的顯著優(yōu)勢。在這種方法中，規(guī)劃模塊負責生成高層任務計劃，而行動模塊則將這些計劃轉(zhuǎn)化為具體的 GUI 和 CLI 操作指令。例如，在 GrassGIS 中完成地理空間數(shù)據(jù)處理和分析任務時，規(guī)劃模塊可能會生成一個包括數(shù)據(jù)導入、預處理、分析和結(jié)果輸出的任務序列。行動模塊隨后根據(jù)這個序列，執(zhí)行相應的操作，如打開數(shù)據(jù)文件、運行預處理腳本、調(diào)用分析工具等。

實驗數(shù)據(jù)顯示，解耦后的智能體在任務成功率、執(zhí)行效率和錯誤率等多個維度上均表現(xiàn)出顯著提升。例如，在代數(shù)領域，解耦后的智能體能夠更有效地處理復雜的數(shù)學問題，將成功率提高了 20% 以上。這種模塊化方法不僅提高了智能體的性能，還增強了其可擴展性、可維護性和適應性，使其能夠更靈活地應對不同類型的科學任務。

在SCIENCEBOARD 的規(guī)劃器+錨定模型設置下，不同VLM智能體組合的成功率。本實驗所采用的觀測設置為截圖。顏色分別表示專有模型、開源模型VLM和GUI動作模型

純視覺與混合界面的性能對比與優(yōu)化策略

在純 GUI 界面和混合界面（支持 GUI 和 CLI）下的實驗數(shù)據(jù)對比分析表明，智能體在不同界面類型下的性能存在明顯差異。在純 GUI 界面下，智能體需要依賴視覺線索和界面元素的視覺特征進行操作決策。例如，在 ChimeraX 中進行分子結(jié)構(gòu)顯示模式切換任務時，智能體需要準確識別界面中的分子顯示選項，并執(zhí)行相應的點擊操作。然而，這種界面類型對視覺理解和空間推理能力要求較高，智能體可能面臨復雜的視覺搜索和精細的坐標定位挑戰(zhàn)。

在混合界面下，智能體可以綜合利用 GUI 和 CLI 兩種操作方式進行任務解決。例如，在 GrassGIS 中進行地理空間數(shù)據(jù)分析任務時，智能體可以通過 GUI 界面選擇數(shù)據(jù)文件和分析工具，同時通過 CLI 輸入特定的參數(shù)和命令來執(zhí)行分析任務。CLI 操作為智能體提供了更直接、更高效的軟件控制手段，彌補了純 GUI 操作的不足。

基于這些分析結(jié)果，優(yōu)化策略包括在純視覺界面下加強智能體的視覺理解和空間推理能力，例如通過改進視覺編碼器和引入注意力機制來提高對界面元素的識別精度。在混合界面下，則優(yōu)化智能體的 GUI 和 CLI 操作融合機制，使智能體能夠更靈活地在兩種操作模式之間切換，提高任務適應性和操作成功率。

t-SNE可視化任務指令分布情況。每個圖的t-SNE種子是隨機采樣的

未來發(fā)展

基于對 SCIENCEBOARD 評估結(jié)果的深入分析，未來智能體技術(shù)的發(fā)展方向和研究建議逐漸清晰。在智能體能力提升方面，加強智能體對科學領域?qū)I(yè)知識的學習和理解能力是關(guān)鍵。例如，通過構(gòu)建領域知識圖譜，將生物化學、天文學等領域的專業(yè)知識結(jié)構(gòu)化，為智能體提供豐富的背景知識。同時，優(yōu)化智能體的視覺 - 語言融合機制，使其能夠更準確地解讀科學軟件界面中的復雜視覺信息，如分子結(jié)構(gòu)圖、天體運行軌跡圖等。

增強智能體的長期規(guī)劃和復雜任務分解能力同樣重要。科學工作流中的任務往往涉及多個步驟和長周期的規(guī)劃，智能體需要能夠?qū)碗s任務分解為一系列子任務，并制定合理的執(zhí)行順序。例如，在進行蛋白質(zhì)結(jié)構(gòu)預測和功能分析的綜合任務時，智能體需要先完成結(jié)構(gòu)預測，再根據(jù)預測結(jié)果進行功能注釋和分析。

在智能體系統(tǒng)架構(gòu)方面，構(gòu)建協(xié)作與專業(yè)智能體系統(tǒng)是一種有前景的方向。通過將不同類型的智能體（如規(guī)劃智能體、GUI 操作智能體、CLI 操作智能體、領域?qū)＜抑悄荏w等）進行有機組合和協(xié)同工作，可以實現(xiàn)優(yōu)勢互補。例如，在一個復雜的生物信息學分析任務中，規(guī)劃智能體負責整體任務規(guī)劃，GUI 操作智能體負責界面交互，CLI 操作智能體負責腳本執(zhí)行，而領域?qū)＜抑悄荏w則提供專業(yè)的生物信息學知識支持。

此外，研究智能體之間的高效通信和任務分配機制，確保系統(tǒng)能夠靈活適應不同科學任務的需求。例如，通過設計統(tǒng)一的任務描述語言和通信協(xié)議，使不同智能體能夠無縫協(xié)作，共同完成復雜的科學工作流。

在智能體應用場景拓展方面，將數(shù)字智能體的技術(shù)和理念拓展至物理實驗室環(huán)境是一個值得探索的方向。研究如何實現(xiàn)智能體對實驗儀器設備的操作控制、實驗數(shù)據(jù)的實時采集與分析、實驗過程的智能監(jiān)控與優(yōu)化等功能，推動智能體在科學研究全鏈條中的深度應用和價值創(chuàng)造。例如，智能體可以協(xié)助科學家們自動調(diào)整實驗儀器的參數(shù)，實時分析實驗數(shù)據(jù)，并根據(jù)分析結(jié)果動態(tài)調(diào)整實驗方案，從而提高實驗效率和成功率。

認知與感想

其實，當我看到這篇論文的第一感覺就是眼前一亮。SCIENCEBOARD 項目在推動 AI 驅(qū)動的科學發(fā)現(xiàn)領域取得了重要進展。它不僅提供了一個現(xiàn)實的多域環(huán)境和高質(zhì)量的基準任務，還通過廣泛的實驗評估揭示了當前智能體在協(xié)助科學工作流方面的機遇和挑戰(zhàn)。盡管智能體在某些領域取得了一定的成功，但在整體性能上仍遠未達到人類科學家的水平。SCIENCEBOARD 的研究成果為未來智能體技術(shù)的發(fā)展提供了明確的方向和有價值的參考，激勵著研究人員不斷探索創(chuàng)新，以構(gòu)建更強大的科學發(fā)現(xiàn)智能體。

通過對 SCIENCEBOARD 的深入了解，我們可以深刻認識到智能體技術(shù)在科學研究中的巨大潛力。它不僅能夠提高科研效率，還能為科學家們帶來全新的研究視角和方法。雖然當前智能體在處理復雜科學任務時仍存在諸多局限，但隨著技術(shù)的不斷進步和優(yōu)化，我們有理由相信，智能體將在未來的科學發(fā)現(xiàn)中扮演越來越重要的角色，與人類科學家實現(xiàn)人機協(xié)作，探索未知世界。

智能體環(huán)境的設計與優(yōu)化是未來智能體技術(shù)發(fā)展的關(guān)鍵議題。當前的智能體評估體系多基于獨立同分布假設，任務間相互獨立，而在現(xiàn)實世界，任務往往連續(xù)且相互關(guān)聯(lián)。例如在長期科研項目中，科學家們會基于前期實驗結(jié)果調(diào)整后續(xù)研究方向。SCIENCEBOARD 雖構(gòu)建了多域科學環(huán)境，但仍存在局限。未來需引入長期記憶機制，使智能體能夠記住之前任務的關(guān)鍵信息，在后續(xù)任務中進行調(diào)用和擴展。同時，引入累積獎勵機制，鼓勵智能體在任務序列中持續(xù)優(yōu)化策略，而不僅僅是完成單個任務。

現(xiàn)實環(huán)境復雜多變，涉及多方協(xié)作與交互。未來智能體環(huán)境應加強人機協(xié)作元素，使智能體能與人類科研人員及其他智能體有效溝通、協(xié)作，發(fā)揮各自優(yōu)勢。例如在科學發(fā)現(xiàn)工作中，智能體可以負責數(shù)據(jù)分析和模擬實驗，而人類科學家則專注于創(chuàng)意構(gòu)思和研究方向的把控。同時需引入動態(tài)環(huán)境特性，實時反饋和適應外部變化，提升智能體的健壯性和適應性。例如在實驗過程中，智能體需要根據(jù)實驗結(jié)果的實時反饋，快速調(diào)整實驗參數(shù)或改變研究策略。

同時，智能體環(huán)境的設計不僅要關(guān)注技術(shù)層面的優(yōu)化，還需重新審視和定義問題。這就需要我們跳出傳統(tǒng)思維模式，不再局限于現(xiàn)有的評估框架和任務設定，而是去探索那些尚未被充分研究和理解的問題。只有這樣，我們才能真正推動智能體技術(shù)在科學發(fā)現(xiàn)領域的深化發(fā)展，使其成為人類科學家的得力助手，共同探索未知世界的奧秘。這既是挑戰(zhàn)，更是充滿希望的方向。