在人工智能領域，大模型控制智能體是大勢所趨。智能體賦予大模型物理實體，使其具備與真實物理世界感知交互的能力。同時，借助于大模型，智能體能夠獲得更強大的感知、決策和執行能力，使其具備更高的自主性和適應性。這項研究能夠推動機器人和自動化行業的發展，從而創造出更多的就業機會和經濟增長。 

在此背景下，李學龍團隊提出了一種大模型驅動的異構智能體協同控制算法框架，利用大模型調度多種智能體自主協作，實現了「機器人總動員」。

所提框架可將一個跨場景、跨智能體的復雜任務，通過語義任務解析拆分成異構智能體協同執行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯合控制，共同完成指定任務，具備高層語義理解能力、自身技能認知能力和復雜任務執行能力。

懂所思、知所能、行所意，是大模型驅動多智能體協作的主要能力。

懂所思：高層語義理解能力

如何充分發揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據輸入的自然語言分工合作，是智能體在現實場景中執行復雜任務的前提條件。

針對該問題，團隊利用國產大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協同控制平臺，設計了融合環境信息與自身狀態的多模態大模型交互框架，實現了對任務理解、硬件控制、協調合作等復雜需求的語義解析。

知所能：自身技能認知能力

智能體的行為能力易受周圍環境、自身機械結構等限制因素的影響。如何在多變的外界環境下讓智能體準確地認知當前自身的行為能力，是多種智能體協同的關鍵環節。

為了實現這一目標，團隊提出了異構智能體通用中層技能認知算法，實現了異構智能體集群的精細協同控制。在此基礎上，智能體通過自主環境感知、自身狀態建模、協同運動規劃，自適應地調整多種智能體的技能執行。

行所意：復雜任務執行能力

為了完成復雜任務目標，異構智能體協作需要依據子任務間的依賴關系和環境約束，設計安全合理的子任務執行次序和方式。

針對該問題，團隊設計了多智能體閉環反饋的任務協作機制，實現了異構智能體在任務執行層面的自主協同。

在多種智能體集群協作過程中，智能體向任務語義解析模塊報告子任務執行狀態，形成任務分配與執行動態閉環，實現任務目標導向的智能體高效協同。

該成果是大模型算法和智能體硬件交叉的創新性研究，實現了用更自然、更直觀的方式進行多種智能體集群控制，降低了人機交互的門檻。

同時，該研究也將促進異構智能體之間協作的自主性和流暢度，對人工智能在災難救援、工業生產等復雜場景下的靈活應用具有重要意義。

研究團隊

李學龍教授團隊主要開展臨地安防（Vicinagearth Security）技術體系的人才培養、科研與工程，依托兩個理論：「信容（Information Capacity，信息與數據的比值）」與「正激勵噪聲（Positive-incentive Noise，Pi/π-Noise，有用的噪聲，通過增加噪聲或利用噪聲讓任務做得更好）」，面向低空安防、水下安防、跨域安防，進行多模態認知計算、跨域遙感、穩定探測、涉水光學、群體智能決策、相干光探測的技術創新，服務于高水平人才培養和國家重大戰略需求。