Meta開源用于數學等復雜推理AI Agent—HUSKY
Meta、華盛頓大學和阿倫AI實驗室的研究人員聯合開源了,專用于數學、表格等復雜推理的AI Agent—HUSKY。
與傳統AI Agent不同的是,HUSKY采用了一個統一的行動空間,無論是數值計算、表格分析還是基于知識的推理,都能夠通過一系列預定義的自動化行動來完成。這種統一性極大提升了AI Agent的泛化能力,使其能夠跨領域解決多種難題。
此外,HUSKY還使用了一種迭代推理的方法,通過在行動生成和執行之間不斷迭代,可以像人類那樣分層次地拆解、解決難題,在處理超復雜任務時非常高效。
開源地址:https://github.com/agent-husky/Husky-v1
論文地址:https://arxiv.org/abs/2406.06469
行動生成相當于HUSKY的“大腦”。在這一階段,行動生成器作為核心組件,承擔著預測任務解決過程中下一步行動的部署計劃。它接收輸入的問題和已有的解決方案歷史,通過精準的預測,確定接下來需要采取的步驟和相應的工具。
在預測過程中主要借鑒了GPT-4使用的"few-shot prompting"技術,無需額外訓練就能幫助HUSKY能夠通過少量示例快速學習并適應新任務。
完成行動部署后,HUSKY便開始進入執行階段,通過一些特定的專家模型來執行具體任務。這些專家模型,包括代碼生成器、數學推理器、查詢生成器和常識推理器,分別對應不同的業務需求,相當于HUSKY的工具箱。
例如,當面臨數值計算任務時,代碼生成器將生成代碼片段,由代碼解釋器執行;而在需要檢索信息時,查詢生成器則生成搜索查詢,由搜索引擎執行來獲取所需知識;需要執行復雜的微積分、幾何、代數等復雜難題時,數學推理器便開始執行。
HUSKY不僅體現在單個模塊的能力上,更在于模塊間的協調與合作。行動生成器需要理解問題需求,預測出合理的行動和工具使用順序;而專家模型則需精確執行這些行動,并將結果反饋給行動生成器。這種緊密的協作是HUSKY解決復雜問題的關鍵。
也就是說,HUSKY的行動生成與執行是一個不斷迭代、反饋的閉環,在執行的過程中協同工作,不斷生成和執行行動,同時更新解決方案狀態。
這一迭代過程持續進行,直到行動生成器在解決方案歷史中識別出最終答案,HUSKY便達到終端狀態并返回最終結果。
研究人員對HUSKY在不同類型推理任務上的進行綜合測試,包括數值推理、表格推理、知識基礎推理以及混合工具推理任務等。
結果顯示,在數值推理任務中,HUSKY展現出了卓越的推理和泛化能力,成功處理了從基礎數學問題到高難度的競賽數學題,涵蓋了GSM-8K、MATH、Google DeepMind Mathematics和MathQA等數據集。
在表格推理任務中,HUSKY同樣表現出色。成功處理了TabMWP、FinQA、TAT-QA和MultimodalQA等數據集。在HotpotQA、CWQ、Musique、Bamboolge和StrategyQA等數據集上,HUSKY同樣展現了卓越的數據檢索和查詢能力。
本文轉自 AIGC開放社區 ,作者:AIGC開放社區
