今天我們介紹一篇論文《REACT: Synergizing Reasoning and Acting in Language Models》，它是來自谷歌研究院和普林斯頓大學的一組研究人員在探索了在語言模型中結(jié)合推理和行為的潛力后發(fā)布的結(jié)果。雖然大型語言模型(LLM)推理(思維鏈提示)和行動(行動計劃生成)的能力已經(jīng)作為單獨的主題進行了研究，但這是第一次將這兩種能力組合到一個系統(tǒng)中。所以我覺得這是一篇重要的論文，因為ReAct框架允許虛擬代理使用諸如連接到web和SQL數(shù)據(jù)庫之類的工具，所以可以提供幾乎無限的擴展。

推理和行動的力量

人類智能的特點是將以任務(wù)為導向的行動和關(guān)于下一步行動的推理無縫結(jié)合。這種能力使我們能夠快速學習新任務(wù)并做出可靠的決定，而且可以適應(yīng)不可預見的情況。ReAct的目標就是在語言模型中復制這種協(xié)同作用，使它們能夠以交錯的方式生成推理步驟和特定于任務(wù)的操作。

ReAct如何工作的

ReAct提示大型語言模型為給定任務(wù)生成口頭推理歷史步驟和操作。這些提示由少量的上下文示例組成，這些示例指導模型的思考和操作生成。下面的圖中給出了一個上下文示例。這些例子引導代理經(jīng)歷一個循環(huán)過程:產(chǎn)生一個想法，采取一個行動，然后觀察行動的結(jié)果。通過結(jié)合推理跟蹤和操作，ReAct允許模型執(zhí)行動態(tài)推理，這樣可以生成高級計劃，還可以與外部環(huán)境交互以收集額外的信息。

應(yīng)用及結(jié)果

研究人員將ReAct應(yīng)用于多種語言推理和決策任務(wù)，包括問題回答、事實驗證、基于文本的游戲和網(wǎng)頁導航。結(jié)果是非常好的，ReAct在可解釋性和可信賴性方面始終優(yōu)于其他最先進的基線。

在問答和事實驗證任務(wù)中，ReAct通過與簡單的Wikipedia API交互，克服了推理中普遍存在的幻覺和錯誤傳播問題。它生成了類似人類的解決任務(wù)的步驟，比沒有推理痕跡的基線更容易解釋。在交互式?jīng)Q策基準中，ReAct的表現(xiàn)明顯優(yōu)于模仿和強化學習方法，即使只有一兩個上下文示例。

雖然推理、行動和觀察步驟交織在一起提高了ReAct的接地性和可信度，但這種結(jié)構(gòu)也約束降低了其制定推理步驟的靈活性，導致在某些任務(wù)上的推理錯誤率高于思維鏈提示。

推理和行動的重要性

研究人員還進行了消融實驗，了解在不同任務(wù)中推理和行動的重要性。他們發(fā)現(xiàn)，ReAct的內(nèi)部推理和外部行為的結(jié)合始終優(yōu)于專注于推理或單獨行動的基線。這突出了整合這兩個過程的價值，以獲得更有效的決策。

未來的發(fā)展方向

雖然ReAct已經(jīng)顯示出很好的結(jié)果，但仍有改進的空間。研究人員建議擴大ReAct的規(guī)模，以訓練和操作更多的任務(wù)，并將其與強化學習等互補范例結(jié)合起來。此外還可以使用更多的人工注釋數(shù)據(jù)對模型進行微調(diào)可以進一步提高它們的性能。

結(jié)論

ReAct在開發(fā)更智能、更通用的AI系統(tǒng)方面向前邁進了一步，并且它也支持Langchain庫中一些非常有用的代理功能。通過在語言模型中結(jié)合推理和行為，已經(jīng)證明了在一系列任務(wù)中的性能提高，以及增強的可解釋性和可信度。隨著人工智能的不斷發(fā)展，推理和行為的整合將在創(chuàng)造更有能力和適應(yīng)性的人工智能系統(tǒng)方面發(fā)揮關(guān)鍵作用。

論文地址：