今天我們從另外一個(gè)角度對(duì)規(guī)劃能力進(jìn)行總結(jié)，明天開始我們會(huì)分享關(guān)于Memory相關(guān)的內(nèi)容。當(dāng)我們談?wù)揕LM支撐的Agent時(shí)，規(guī)劃模塊（Planning Module）是它們智能行為的核心。想象一下，如果你要完成一項(xiàng)復(fù)雜的任務(wù)，比如組織一場(chǎng)大型活動(dòng)，你可能會(huì)把它分解成一系列小任務(wù)，然后逐一解決。智能體的規(guī)劃模塊也是這么干的！

規(guī)劃模塊的設(shè)計(jì)理念是模擬人類的規(guī)劃能力，它能讓智能體更合理、更強(qiáng)大、更可靠地行動(dòng)。

首先，我們得決定智能體在規(guī)劃過程中是否能接收外部反饋。沒有外部反饋的情況下，智能體就像一個(gè)孤獨(dú)的思考者，它依靠?jī)?nèi)部的邏輯和預(yù)設(shè)的規(guī)則來制定計(jì)劃。比如，使用CoT（Chain of Thought）模型，智能體會(huì)將復(fù)雜問題分解成多個(gè)推理步驟，每一步都緊密相連，引導(dǎo)LLM按順序解決問題。這就像按照食譜做菜，食譜上的每個(gè)步驟都直接對(duì)應(yīng)下一步，確保了最終的菜肴能夠成功完成。

還有一種是多路徑推理，這就像我們?cè)谧鰶Q定時(shí)，腦海中可能會(huì)同時(shí)出現(xiàn)好幾個(gè)選項(xiàng)。例如，ToT（Tree of Thoughts）模型，它將推理步驟組織成一個(gè)樹狀結(jié)構(gòu)，每個(gè)中間步驟都可能有多個(gè)子步驟，模擬了人類在每個(gè)決策點(diǎn)上的多種可能性。

單路徑和多路徑推理策略的比較

但是，現(xiàn)實(shí)世界是復(fù)雜的，有時(shí)候我們的計(jì)劃需要根據(jù)外界的反饋來調(diào)整。這就是有外部反饋的規(guī)劃。想象一下，你在建造一個(gè)模型飛機(jī)，每次試飛后你都會(huì)根據(jù)飛行情況來調(diào)整設(shè)計(jì)。智能體也是這樣，它會(huì)根據(jù)環(huán)境的反饋來調(diào)整自己的行動(dòng)計(jì)劃。例如，Voyager模型在Minecraft游戲中通過環(huán)境反饋來改進(jìn)其建筑技能的執(zhí)行代碼，或者SayPlan模型使用場(chǎng)景圖模擬器來驗(yàn)證和完善其戰(zhàn)略規(guī)劃。

環(huán)境反饋是智能體從客觀世界或虛擬環(huán)境中獲得的信號(hào)，比如游戲任務(wù)的完成信號(hào)或者智能體行動(dòng)后的環(huán)境變化。人類反饋則更主觀，它可以幫助智能體更好地符合人類的價(jià)值觀和偏好。例如，Inner Monologue模型通過積極地從人類那里獲取關(guān)于場(chǎng)景描述的反饋，并將這些反饋整合到自己的行動(dòng)中。

還有模型反饋，這是基于預(yù)訓(xùn)練模型生成的內(nèi)部反饋，可以幫助智能體自我檢查和改進(jìn)。例如，SelfCheck模型允許智能體檢查和評(píng)估自己在各個(gè)階段生成的推理步驟，并通過比較結(jié)果來糾正錯(cuò)誤。

總的來說，規(guī)劃模塊是智能體成功完成任務(wù)的關(guān)鍵。它需要智能體能夠理解任務(wù)、制定計(jì)劃，并根據(jù)反饋進(jìn)行調(diào)整。這不僅僅是一個(gè)技術(shù)問題，更是對(duì)智能體如何模擬人類思維和行動(dòng)方式的深入探索。隨著技術(shù)的發(fā)展，我們可以期待智能體在規(guī)劃和行動(dòng)上表現(xiàn)得越來越像人類。

本文轉(zhuǎn)載自 ??探索AGI??，作者： 獼猴桃