大模型發展迅速，Agent發展也很迅速。但是似乎，目前還很少有對開源工具棧進行整理的。一些綜述提到的可能比較舊（不更新了），或者不實用，或者內容太多了。

端午整理了一下，把壓箱底的AI Agent開源工具棧全部整理出來~

下面，我們按照構建Agent的邏輯順序，逐一盤點。9大類型、50個實用工具合集！ 照舊，也做了一個網頁展示（這次測試了一些比較酷的動效，需要網頁源碼的可以后臺私信發送 Agent工具棧

一、計算機與瀏覽器操作

現在比較流行Compute Use，Agent必須能像人一樣與電腦和網絡交互——點擊按鈕、填寫表單、抓取數據。這些工具就是連接“思考”與“行動”的橋梁。

• Open Interpreter^[1]：將自然語言翻譯成本地可執行代碼。想移動文件或運行腳本？直接跟它說就行。
• Self-Operating Computer^[2]：賦予Agent完全控制你桌面環境的能力，讓它像真人一樣操作系統。
• LaVague^[3]：讓Web Agent能夠實時瀏覽網站、填寫表單并做出決策，是瀏覽器任務自動化的理想選擇。
• Playwright^[4]：微軟官方自動化工具，用于跨瀏覽器操作，非常適合測試或模擬用戶流程。
• Puppeteer^[5]：控制Chrome或Firefox的可靠工具，非常適合抓取數據和自動化前端行為。

二、框架

框架可以幫忙組織Agent的邏輯、連接大模型、管理工具，是整個系統的核心。

• CrewAI^[6]：專為多智能體協作而生。當你的任務需要不同角色的Agent協同工作時，它就是最佳選擇。
• Phidata^[7]：專注于記憶、工具使用和長期交互。非常適合構建需要記住上下文、能夠持續進化的個人助理。
• Camel^[8]：為多智能體協作、模擬和任務專業化而設計。
• AutoGPT^[9]：通過規劃和執行的循環來自動化復雜工作流。最適合需要獨立運行的自主Agent。
• AutoGen^[10]：微軟出品，讓多個Agent能夠相互溝通以解決復雜問題。
• SuperAGI^[11]：簡化了構建和交付自主Agent的流程，主打一個快。
• Superagent^[12]：一個靈活的開源工具包，用于創建定制化的AI助理。
• LangChain^[13]& LlamaIndex](https://github.com/run-llama/llama_index)：這兩個不用多說，已經是管理記憶、檢索和工具鏈的事實標準。

三、 語音

語音是人機交互最自然的方式。這些工具負責處理語音識別、語音合成和實時交互，讓你的Agent更具人性化。

語音轉語音 (Speech2Speech)

• Ultravox^[14]：頂級的語音到語音模型，能流暢處理實時語音對話，響應速度極快。
• Pipecat^[15]：一個用于構建語音Agent的全棧框架，包含從語音到文本、文本到語音甚至視頻交互的支持。

語音轉文本 (Speech2Text)

• Whisper^[16]：OpenAI的明星產品，多語言轉錄和語音識別的利器。
• stable-ts^[17]：一個對開發者更友好的Whisper封裝，增加了時間戳和實時支持，非常適合對話型Agent。
• Speaker Diarization 3.1^[18]：Pyannote的模型，用于識別是誰在說話，是處理多人會議音頻的關鍵。

文本轉語音 (Text2Speech)

• ChatTTS^[19]：目前我發現的最好的模型。速度快、穩定，對大多數用例來說都是生產就緒的。
• ElevenLabs^[20](商業版)：當音質比開源更重要時，這是首選。聲音高度自然。
• Cartesia^[21](商業版)：另一個強大的商業選擇，提供富有表現力的高保真語音合成。

四、 文檔理解

絕大多數有價值的數據都埋藏在PDF、掃描件這些非結構化文檔里。這些工具能幫你的Agent直接閱讀和理解這些“硬骨頭”，無需復雜的OCR流程。

• Qwen2.5-VL^[22]：來自阿里的強大視覺語言模型。在處理圖文混合的復雜文檔時，性能優于GPT-4和Claude 3.5 Sonnet。
• DocOwl2^[23]：一個輕量級的多模態模型，專為無OCR的文檔理解而構建。速度快、效率高，能精準地從雜亂輸入中提取結構和意義。

五、 記憶

沒有記憶的Agent，只能做一次性任務。想讓它變得更聰明、更個性化，記憶是關鍵。

• Mem0^[24]：一個自我優化的記憶層，讓你的Agent能根據過去的互動進行調整，構建更持久和個性化的AI體驗。
• Letta (原MemGPT)^[25]：為LLM Agent增加長期記憶和工具使用能力。可以看作是那些需要記憶、推理和進化的Agent的腳手架。
• LangChain^[26]：包含即插即用的記憶組件，用于跟蹤對話歷史和用戶上下文，非常實用。

六、 測試與評估

Agent越復雜，就越容易在邊緣情況下出bug。這些工具可以幫助你在不同場景下測試Agent的行為，盡早發現問題。

• AgentOps^[27]：一套用于跟蹤和基準測試AI Agent的工具，幫助你在問題影響用戶之前發現并優化性能。
• AgentBench^[28]：一個評估LLM Agent在網頁瀏覽、游戲等多種任務和環境中表現的基準測試工具。
• eeVoice Lab^[29]：一個用于測試語音Agent的綜合框架，確保Agent的語音識別和響應準確自然。

七 監控與可觀測性

Agent上線后，性能、成本、穩定性如何？你需要“眼睛”來實時監控。

• openllmetry^[30]：使用OpenTelemetry為LLM應用提供端到端的可觀測性，讓你清晰地了解Agent性能，并快速進行故障排除和優化。
• AgentOps^[31]：一個全面的監控工具，可以跟蹤Agent的性能、成本和基準測試，幫助你確保Agent高效且在預算內運行。

八、 仿真環境

在把Agent扔到真實世界前，最好先在沙盒里練練手。仿真環境讓你可以在一個受控的世界里進行實驗、完善決策邏輯，而沒有真實世界風險。

• AgentVerse^[32]：支持在不同應用和模擬中部署多個基于LLM的Agent。
• AI Town^[33]：一個虛擬小鎮，AI角色在其中進行社交互動，用于測試決策能力和模擬真實世界場景。
• Generative Agents^[34]：斯坦福大學的項目，專注于創建模擬復雜人類行為的Agent，非常適合在社交環境中測試記憶和決策。

九、 垂直領域Agent

不是所有輪子都要自己造。這些垂直領域的Agent開箱即用，或者可以作為你定制化開發的基礎。

編程：

• OpenHands^[35]：一個由AI驅動的軟件開發Agent平臺，旨在自動化編碼任務。
• aider^[36]：一個與終端直接集成的AI結對編程工具，你的命令行里的AI副駕。
• GPT Engineer^[37]：用自然語言構建應用；只需描述你想要什么，AI就會澄清需求并生成代碼。
• screenshot-to-code^[38]：將截圖轉換為功能齊全的HTML/Tailwind/React/Vue網站，快速將設計稿變現。

研究：

• GPT Researcher^[39]：一個自主研究Agent，能進行全面的資料搜集、數據分析并撰寫報告。

SQL:

• Vanna^[40]：用自然語言與你的SQL數據庫交互；告別復雜的SQL命令，直接提問，Vanna就會幫你檢索數據。

最后

一個成功的Agent開發，關鍵不在于追逐每個熱門新工具，而是務實地選擇、組合、迭代。希望能給看到這里的小伙伴，提供一個高效率的起點，更快地構建出真正有價值的AI Agent。

Reference

[1] Open Interpreter: ??https://github.com/OpenInterpreter/open-interpreter??

[2] Self-Operating Computer: ??https://github.com/OthersideAI/self-operating-computer??

[3] LaVague: ??https://github.com/lavague-ai/LaVague??

[4] Playwright: ??https://github.com/microsoft/playwright??

[5] Puppeteer: ??https://pptr.dev/??

[6] CrewAI: ??https://github.com/crewAIInc/crewAI??

[7] Phidata: ??https://github.com/agno-agi/agno??

[8] Camel: ??https://github.com/camel-ai/camel??

[9] AutoGPT: ??https://github.com/Significant-Gravitas/AutoGPT??

[10] AutoGen: ??https://github.com/microsoft/autogen??

[11] SuperAGI: ??https://github.com/TransformerOptimus/SuperAGI??

[12] Superagent: ??https://github.com/superagent-ai/superagent??

[13] LangChain: ??https://github.com/langchain-ai/langchain??

[14] Ultravox: ??https://github.com/fixie-ai/ultravox??

[15] Pipecat: ??https://github.com/pipecat-ai/pipecat??

[16] Whisper: ??https://github.com/openai/whisper??

[17] stable-ts: ??https://github.com/jianfch/stable-ts??

[18] Speaker Diarization 3.1: ??https://huggingface.co/pyannote/speaker-diarization-3.1??

[19] ChatTTS: ??https://github.com/2noise/ChatTTS??

[20] ElevenLabs: ??https://elevenlabs.io/??

[21] Cartesia: ??https://cartesia.ai/??

[22] Qwen2.5-VL: ??https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d??

[23] DocOwl2: ??https://huggingface.co/mPLUG/DocOwl2??

[24] Mem0: ??https://github.com/mem0ai/mem0??

[25] Letta (原MemGPT): ??https://github.com/letta-ai/letta??

[26] LangChain: ??https://github.com/langchain-ai/langchain??

[27] AgentOps: ??https://github.com/AgentOps-AI/agentops??

[28] AgentBench: ??https://github.com/THUDM/AgentBench??

[29] eeVoice Lab: ??https://github.com/saharmor/voice-lab??

[30] openllmetry: ??https://github.com/traceloop/openllmetry??

[31] AgentOps: ??https://github.com/AgentOps-AI/agentops??

[32] AgentVerse: ??https://github.com/OpenBMB/AgentVerse??

[33] AI Town: ??https://github.com/a16z-infra/ai-town??

[34] Generative Agents: ??https://github.com/joonspk-research/generative_agents??

[35] OpenHands: ??https://github.com/All-Hands-AI/OpenHands??

[36] aider: ??https://github.com/Aider-AI/aider??

[37] GPT Engineer: ??https://github.com/AntonOsika/gpt-engineer??

[38] screenshot-to-code: ??https://github.com/abi/screenshot-to-code??

[39] GPT Researcher: ??https://github.com/assafelovic/gpt-researcher??

[40] Vanna: ???https://github.com/vanna-ai/vanna??

本文轉載自??探索AGI??，作者：獼猴桃