「以史為鑒，可以知興替。」 人類的進(jìn)步史，可以看作是一個(gè)不斷吸取過去經(jīng)驗(yàn)、不斷推進(jìn)能力邊界的自我演化過程。在這個(gè)過程中，我們吸取過去失敗的教訓(xùn)以糾正錯(cuò)誤，借鑒成功的經(jīng)驗(yàn)以提升效率和效果。這種自我進(jìn)化的過程在我們的生活中無所不在：從如何總結(jié)經(jīng)驗(yàn)以更好地解決工作中的問題，到如何利用規(guī)律更精確地預(yù)測天氣，我們都在不斷地從過去的經(jīng)驗(yàn)中學(xué)習(xí)和進(jìn)化。

成功從過去的經(jīng)驗(yàn)中提取知識(shí)并將其應(yīng)用于未來的挑戰(zhàn)，這是人類進(jìn)化之路上重要的里程碑。那么在人工智能時(shí)代，AI 智能體是否也可以做到同樣的事情呢？

近年來，GPT 和 LLaMA 等語言模型展示了他們?cè)诮鉀Q復(fù)雜任務(wù)時(shí)的驚人能力。然而，他們盡管可以利用工具解決具體任務(wù)，但在本質(zhì)上缺乏對(duì)過去成功和失敗經(jīng)歷的洞見與汲取。這就像一個(gè)只會(huì)完成特定任務(wù)的機(jī)器人，雖然在完成當(dāng)下任務(wù)上表現(xiàn)出色，但面對(duì)新的挑戰(zhàn)時(shí)，卻無法調(diào)用過去的經(jīng)驗(yàn)來提供幫助。

針對(duì)這一難題，近期來自清華大學(xué)、香港大學(xué)、人民大學(xué)以及面壁智能的聯(lián)合團(tuán)隊(duì)提出了一種全新的智能體自我演化策略：探索 - 固化 - 利用（Investigate-Consolidate-Exploit，ICE）。它旨在通過跨任務(wù)的自我進(jìn)化來提升 AI 智能體的適應(yīng)性和靈活性。其不僅能提升智能體處理新任務(wù)時(shí)的效率和效果，還能顯著降低對(duì)智能體基座模型能力的需求。

這個(gè)策略的出現(xiàn)，無疑為智能體的自我進(jìn)化開啟了全新的篇章，也意味著我們離實(shí)現(xiàn)智能體的完全自主性又邁進(jìn)了一步。

• 論文標(biāo)題：Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
• 論文鏈接：https://arxiv.org/abs/2401.13996

智能體任務(wù)間經(jīng)驗(yàn)遷移以實(shí)現(xiàn)自我進(jìn)化概覽圖

智能體自我進(jìn)化的兩個(gè)方面：規(guī)劃與執(zhí)行

當(dāng)下大部分復(fù)雜智能體都可以分成任務(wù)規(guī)劃（Planning）與任務(wù)執(zhí)行（Execution）兩大方面。在任務(wù)規(guī)劃上，智能體通過推理將用戶需求細(xì)化并制定完成目標(biāo)的詳細(xì)策略；而在任務(wù)執(zhí)行上，智能體通過工具調(diào)用實(shí)現(xiàn)與環(huán)境的交互，從而完成相應(yīng)子目標(biāo)。

為了更好地促進(jìn)以往經(jīng)驗(yàn)的重復(fù)利用，作者首先將這兩方面的進(jìn)化策略解耦。他們以 XAgent 智能體架構(gòu)中的樹狀任務(wù)規(guī)劃結(jié)構(gòu)以及 ReACT 鏈?zhǔn)焦ぞ邎?zhí)行為例，分別介紹了 ICE 策略的具體實(shí)現(xiàn)。

智能體任務(wù)規(guī)劃的 ICE 自我演化策略

對(duì)于任務(wù)規(guī)劃，自我進(jìn)化依照 ICE 被分為以下三個(gè)階段：

• 在探索階段，智能體記錄下整個(gè)樹狀任務(wù)規(guī)劃結(jié)構(gòu)，并同時(shí)動(dòng)態(tài)檢測各個(gè)子目標(biāo)的執(zhí)行狀態(tài)；
• 在固化階段，智能體首先剔除所有失敗的目標(biāo)結(jié)點(diǎn)，之后對(duì)于每個(gè)成功完成的目標(biāo)，智能體將以該目標(biāo)為子樹的所有葉子結(jié)點(diǎn)依次排開形成一條規(guī)劃鏈（Workflow）；
• 在利用階段，這些規(guī)劃鏈將被作為新任務(wù)目標(biāo)分解細(xì)化的參考依據(jù)，以利用過往的這些成功經(jīng)驗(yàn)。

智能體任務(wù)執(zhí)行的 ICE 自我演化策略

任務(wù)執(zhí)行的自我演化策略依然分為 ICE 三個(gè)階段，其中：

• 在探索階段，智能體動(dòng)態(tài)記錄每個(gè)目標(biāo)執(zhí)行的工具調(diào)用鏈，并對(duì)工具調(diào)用中出現(xiàn)的可能問題進(jìn)行簡單的檢測歸類；
• 在固化階段，工具調(diào)用鏈將被轉(zhuǎn)化為類似自動(dòng)機(jī)的流水線（Pipeline）結(jié)構(gòu)，工具調(diào)用順序與調(diào)用之間的轉(zhuǎn)移關(guān)系將被固定，同時(shí)還會(huì)去掉重復(fù)調(diào)用，增加分支邏輯等等讓自動(dòng)機(jī)自動(dòng)化執(zhí)行流程更加魯棒；
• 在利用階段，對(duì)于相似的目標(biāo)，智能體將直接自動(dòng)化執(zhí)行流水線，從而提升任務(wù)完成效率。

XAgent 框架下的自我進(jìn)化實(shí)驗(yàn)

作者在 XAgent 框架中對(duì)提出的 ICE 自我演化策略進(jìn)行了測試，并總結(jié)了以下四點(diǎn)發(fā)現(xiàn)：

• ICE 策略能夠顯著降低模型的調(diào)用次數(shù)，從而提升效率，減少開銷。
• 存儲(chǔ)的經(jīng)驗(yàn)在 ICE 策略下有著較高的復(fù)用率，這證明了 ICE 的有效性。
• ICE 策略能夠提升子任務(wù)完成率同時(shí)減少規(guī)劃返修的次數(shù)。
• 通過以往經(jīng)驗(yàn)的加持，任務(wù)執(zhí)行對(duì)模型能力的要求顯著下降。具體來看，使用 GPT-3.5 搭配上之前的任務(wù)規(guī)劃與執(zhí)行經(jīng)驗(yàn)，效果可以直接媲美 GPT-4。

在探索 - 固化進(jìn)行經(jīng)驗(yàn)存儲(chǔ)后，測試集任務(wù)在不同智能體 ICE 策略下的表現(xiàn)

同時(shí)，作者還進(jìn)行了額外的消融實(shí)驗(yàn)：在存儲(chǔ)經(jīng)驗(yàn)逐漸增加的情況下，智能體的表現(xiàn)是否越來越好？答案是肯定的。從零經(jīng)驗(yàn)，半經(jīng)驗(yàn)，到滿經(jīng)驗(yàn)，基座模型的調(diào)用次數(shù)逐漸減少，而子任務(wù)完成度逐漸提升，同時(shí)復(fù)用率也有升高。這表明更多的過往經(jīng)驗(yàn)?zāi)軌蚋玫卮龠M(jìn)智能體執(zhí)行，實(shí)現(xiàn)規(guī)模效應(yīng)。

在不同經(jīng)驗(yàn)存儲(chǔ)量下，測試集任務(wù)表現(xiàn)的消融實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)

結(jié)語

暢想一下，在人人都能夠部署智能體的世界中，成功經(jīng)驗(yàn)的數(shù)量會(huì)隨著智能體個(gè)體任務(wù)執(zhí)行不斷累積，而用戶也可以將這些經(jīng)驗(yàn)在云端中、社區(qū)里進(jìn)行分享。這些經(jīng)驗(yàn)將促使智能體不斷汲取能力，自我進(jìn)化，逐漸達(dá)到完全自主。我們向這樣的時(shí)代又邁進(jìn)了一步。