作者 | Bill Doerrfeld 

編譯 | 云昭

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

操作 Windows 程序、自動(dòng)對(duì)賬發(fā)票、預(yù)訂航班和酒店——這些只是新一代大型語(yǔ)言模型（LLMs）為 AI 智能體帶來(lái)的眾多可能性中的幾個(gè)。研究人員將這一階段的進(jìn)化稱為“大型行動(dòng)模型（Large Action Models）”，簡(jiǎn)稱 LAMs。

迄今為止，LLM 是無(wú)狀態(tài)的——它們無(wú)法自行采取行動(dòng)、適應(yīng)環(huán)境或與工具交互。但 LAMs 的出現(xiàn)，正在使智能體能夠執(zhí)行更復(fù)雜的操作，甚至能在圖形用戶界面（GUI）中自主導(dǎo)航。

IT 服務(wù)公司 Xebia 的集團(tuán)董事總經(jīng)理 Preetpal Singh 在接受采訪時(shí)表示：“LAM 是 AI 系統(tǒng)發(fā)展中的一個(gè)關(guān)鍵轉(zhuǎn)折點(diǎn)，它標(biāo)志著 AI 從被動(dòng)應(yīng)答者向自主操作者的躍遷?！?/p>

實(shí)際上，LAM 正在將行業(yè)從“生成式 AI”引導(dǎo)向“智能體 AI”。

xtype（一家 ServiceNow 多實(shí)例管理平臺(tái)公司）的產(chǎn)品營(yíng)銷負(fù)責(zé)人 Scott Willson 也表示：“AI 一直需要一個(gè)‘執(zhí)行引擎’，LAM 正是生成式 AI 對(duì)這一需求的回應(yīng)。”

1.什么是大型行動(dòng)模型？

LAM 是在 LLM 基礎(chǔ)上訓(xùn)練而成的，專注于“行動(dòng)”任務(wù)，并具備真實(shí)的外部數(shù)據(jù)與系統(tǒng)連接能力。這意味著，LAM 驅(qū)動(dòng)的智能體遠(yuǎn)比普通 LLM 更強(qiáng)大——后者僅限于推理、檢索和文本生成。

MinIO（對(duì)象存儲(chǔ)系統(tǒng)）的 AI 解決方案工程師 Keith Pijanowski 表示：“當(dāng)你在討論 LAM，其實(shí)你就是在談智能體。LAM 實(shí)際上是智能體的大腦。”

與傳統(tǒng) LLM 面向通用用途、訓(xùn)練數(shù)據(jù)來(lái)源廣泛不同，LAM 更注重任務(wù)導(dǎo)向。Imagine Learning（教育平臺(tái)）的 AI 事務(wù)副總裁 Jason Fournier 指出：“LAM 是將 LLM 微調(diào)，使其在推薦達(dá)成目標(biāo)的行動(dòng)方面表現(xiàn)更優(yōu)。”

目前的一些 LAM 實(shí)踐案例包括：

• 微軟研究人員開(kāi)發(fā)了可在 Office 中執(zhí)行任務(wù)的 LAM（來(lái)源：The Decoder）；
• Orby 推出了一款用于企業(yè)任務(wù)自動(dòng)化的 LAM；
• CogAgent 是一個(gè)開(kāi)源模型，設(shè)計(jì)用于在 GUI 中執(zhí)行任務(wù)；
• 加州大學(xué)伯克利分校發(fā)布了 Gorilla，一個(gè)在 RAG（檢索增強(qiáng)生成）基礎(chǔ)上擴(kuò)展運(yùn)行時(shí)、執(zhí)行行動(dòng)的微調(diào)模型。

目前學(xué)界仍在積極研究 LAM，而業(yè)界對(duì)其定義尚未統(tǒng)一。盡管名稱五花八門(mén)，許多被稱為“可調(diào)用工具的 LLM”或“智能體框架”的項(xiàng)目，本質(zhì)上都屬于 LAM 范疇。

例如，OpenAI 最近在其 Responses API 中新增了“計(jì)算機(jī)操作”功能，允許開(kāi)發(fā)者引導(dǎo) AI 執(zhí)行點(diǎn)擊、滾動(dòng)等屏幕上的操作。雖然 OpenAI 沒(méi)有使用 LAM 這一術(shù)語(yǔ)，但這一功能正體現(xiàn)了“AI 行動(dòng)力”的整體趨勢(shì)。

微軟研究人員在去年12月發(fā)布的一篇關(guān)于 LAM 的研究摘要中寫(xiě)道：“人們對(duì)超越語(yǔ)言助手、能執(zhí)行現(xiàn)實(shí)任務(wù)的智能體系統(tǒng)需求正在快速增長(zhǎng)?！倍衲?月更新的另一項(xiàng)研究則描繪了一種“以 LLM 為大腦的新一代 GUI 智能體”。

2.LAM 如何推動(dòng)智能體發(fā)展？

在傳統(tǒng)的企業(yè)自動(dòng)化中，人們依賴于“機(jī)器人流程自動(dòng)化（RPA）”，通過(guò)模擬點(diǎn)擊、滾動(dòng)、復(fù)制文本等用戶行為來(lái)完成重復(fù)任務(wù)。而 LAM 正在走得更遠(yuǎn)。

不同于依賴硬編碼邏輯的 RPA，基于 LAM 的智能體可以在運(yùn)行時(shí)收集信息，甚至是那些在流程設(shè)計(jì)時(shí)尚不存在的數(shù)據(jù)。Pijanowski 表示：“這更像是一種動(dòng)態(tài)業(yè)務(wù)邏輯?！?/p>

Willson 則認(rèn)為 LAM 比 RPA “強(qiáng)太多了”：“……”

Willson 認(rèn)為 LAM 的能力已經(jīng)遠(yuǎn)超 RPA：“它不是根據(jù)固定腳本去做事，而是實(shí)時(shí)推理，適應(yīng)不同場(chǎng)景。RPA 是靜態(tài)的，而 LAM 是動(dòng)態(tài)的?！?/p>

這使得基于 LAM 的智能體比傳統(tǒng)系統(tǒng)更能適應(yīng)變化的業(yè)務(wù)環(huán)境和用戶需求。例如，它們可以：

• 在操作過(guò)程中根據(jù)最新上下文調(diào)整執(zhí)行策略；
• 主動(dòng)判斷執(zhí)行哪個(gè)工具或 API；
• 處理無(wú)法預(yù)料的異常情況。

3.實(shí)現(xiàn) LAM 的關(guān)鍵構(gòu)件

目前的 LAM 系統(tǒng)，往往由以下幾個(gè)關(guān)鍵構(gòu)件組成：

• 多模態(tài)感知能力：能讀取屏幕、識(shí)別按鈕、理解圖形界面。
• 動(dòng)作規(guī)劃與執(zhí)行模塊：基于任務(wù)目標(biāo)生成一系列操作指令，比如點(diǎn)擊、鍵入、滾動(dòng)等。
• 實(shí)時(shí)環(huán)境反饋機(jī)制：能根據(jù)執(zhí)行結(jié)果即時(shí)修正或重新規(guī)劃步驟。
• 與外部系統(tǒng)的連接能力：調(diào)用 API、讀寫(xiě)數(shù)據(jù)庫(kù)、發(fā)送請(qǐng)求等。

這些能力使 LAM 成為真正意義上的“AI 操作員”，可以輔助甚至替代人類在桌面環(huán)境、網(wǎng)頁(yè)、企業(yè)內(nèi)部系統(tǒng)等界面中執(zhí)行任務(wù)。

4.誰(shuí)在推進(jìn) LAM？

目前，除了微軟、OpenAI 和一些學(xué)術(shù)機(jī)構(gòu)之外，還有越來(lái)越多創(chuàng)業(yè)公司和開(kāi)源社區(qū)也在推動(dòng) LAM 的實(shí)踐。比如：

• AutoGPT 和 AgentGPT 的演化，雖然主要聚焦在文本流程自動(dòng)化，但也逐步開(kāi)始探索 GUI 操作；
• Orby 和 Cognosys 等公司，則專注于企業(yè)環(huán)境下的 LAM 商業(yè)化落地；
• GitHub 上涌現(xiàn)出大量“Auto Agent Framework”，正在嘗試將 LAM 和 GUI 控制統(tǒng)一集成。

盡管這一領(lǐng)域仍在早期階段，但它可能比“僅生成文本”的 AI 革命更具現(xiàn)實(shí)影響力，因?yàn)樗苯舆M(jìn)入了人類工作流的執(zhí)行層。

5.從語(yǔ)言模型到行動(dòng)模型，AI 的下一步是什么？

我們?cè)?LLM 革命性地解決了“理解”和“表達(dá)”的問(wèn)題，現(xiàn)在 LAM 正試圖解決“執(zhí)行”的問(wèn)題。

就像 Keith Pijanowski 所說(shuō)：“語(yǔ)言模型是 AI 的大腦，而行動(dòng)模型才是 AI 的雙手和雙腳。”

隨著更多 GUI-aware、具備系統(tǒng)訪問(wèn)能力的 LAM 被開(kāi)發(fā)出來(lái)，我們將看到 AI 真正開(kāi)始動(dòng)手做事——從寫(xiě)郵件、處理表格，到登錄系統(tǒng)、分析報(bào)表、執(zhí)行指令。

也許未來(lái)，企業(yè)的每個(gè)部門(mén)都會(huì)配有一個(gè)“數(shù)字助手”，不再只是回答你問(wèn)題，而是真正替你完成任務(wù)。