一套開源模型和工具，使任何開發者都能構建最先進的 AI Agent 智能體應用程序。

如果我們能回到過去，告訴軟件工程師他們的應用程序將由神秘的 AI Agent 智能體驅動，我們對它的內部運作一無所知，并且他們為了體驗的便利性，將最敏感的數據交給第三方，他們可能會搖頭表示不相信。但現在的我們就是這樣。

如今，全世界的開發者都在圍繞 AI Agent 智能體重新想象他們的應用程序，而這默認意味著將專有的大語言模型（LLMs）集成到每個方面。雖然像OpenAI 和 Anthropic 這樣的專有 LLMs 點燃了 AI Agent 智能體革命，但它們也存在重大缺陷：令人望而卻步的成本、數據隱私問題、供應商鎖定以及缺乏可定制性。最初，為了革命性的能力而犧牲性能和控制似乎是一筆值得做的交易，但現在許多開發者希望有另一種方式。

但是革命有一種使曾經專屬的東西民主化的方式。雖然最初的 AI Agent 智能體熱點聚焦于專有模型，但真正的革命卻是開源 LLMs 作為一種可行的替代方案，像 OpenAI 這樣的專有模型一樣飛速崛起。開源 AI Agent 智能體工具的創新也悄然爆發，這些工具使開發者能夠利用開源 LLMs 增強的推理能力，并將其轉化為有用的應用程序——從模型部署和托管工具到數據存儲和檢索，再到前端和后端網絡框架。

為了幫助您進入這個新領域，并根據與數百名開發者和其他 AI Agent 智能體工具構建者的對話，我們分享了我們對“簡易模式”開源 AI Agent 智能體堆棧的選擇——最適合構建 AI Agent 智能體應用程序的開發者友好的模型和工具。以下是堆棧組件如何協同工作以賦予開發者權力并重塑 AI 未來的介紹：

這套開源的 AI Agent 智能體工具套件將部署、隱私和性能的完全控制權交還給開發者，而且不犧牲應用程序的智能。開發者現在有了構建和部署 AI Agent 智能體解決方案的工具，無論他們想以何種方式——本地、云端或邊緣計算。他們保留了對數據的100%控制權，不必擔心“可信賴”的第三方可能會如何處理潛在敏感信息。這不僅僅是一個技術上的轉變；這是一個文化上的轉變，標志著回歸開發者自主和創新的核心價值觀。

這就是開源 AI Agent 智能體堆棧的承諾——一套使任何開發者都能構建最先進的 AI Agent 智能體應用程序的模型和工具。這不僅僅是一套技術；這是朝著讓每個開發者都能接觸創新邁出的一步。

1、LLMs：開源大模型

一套頂級的開源免費大語言模型（LLMs），與 OpenAI、Anthropic 和Google 的專有大模型相匹敵。這些包括來自 Meta 的 Llama 3.3，Mistral 模型家族，Qwen 模型家族，來自微軟的 Phi 3，以及 DeepMind 的 Gemma 2。

開源大語言模型正在民主化 AI Agent 智能體的前沿。像來自 Meta 的 Llama 3 家族，Mistral 7B 和 Pixtral 12B，來自阿里云的 Qwen 2.5，來自微軟的Phi 3，以及來自 DeepMind 的 Gemma 2 等大模型可以免費下載和使用，任何擁有足夠硬件資源的開發者都可以運行這些模型。

這些開源模型與專有解決方案競爭，提供以下優勢：

第一、更大的數據控制權：使用開源模型可以保持所有數據的私密性，消除對第三方的依賴，并為開發者提供更大的安全性和合規性保障。

第二、具有競爭力的推理性能：開源模型在 MMLU、HumanEval 和 MATH Reasoning 等基準測試中越來越具有競爭力，表明開源模型與專有模型在推理能力上的差距正在縮小。

第三、部署的靈活性和可定制性：您可以通過自行微調或訪問公開可用的模型微調和變體，為特定用例適應模型，而無需受供應商限制。

第四、小型模型的效率和可擴展性：較小的開源模型通常需要較少的計算能力，這使得它們在成本效益上更優，且在資源受限的設備或環境中更容易部署，同時在特定任務上仍能提供強大的性能。

2、嵌入模型：開源嵌入模型

一套頂級的開源嵌入模型。這些包括：Nomic，來自 BAAI 的 BGE，Sentence Transformers 家族，以及 Jina AI 的模型等。

向量嵌入在現代 AI Agent 智能體應用程序中非常有用。它們為搜索和 RAG（檢索增強生成）功能提供支持，使 LLM 應用程序能夠以更加扎實、上下文相關的答案進行響應。

就像在開源 LLMs 中一樣，開源嵌入模型在與專有解決方案（比如：OpenAI 的 text-embedding-3 模型家族和 Cohere 的 embed-multilingual-v3.0）的競爭中取得了重大進展。領先的開源嵌入模型包括：

第一、Sentence Transformers / SBERT：開源嵌入模型家族，具有各種大小和專業化，從輕量級的 all-minilm 到多語言模型。

第二、Nomic：Nomic Embed Text V1.5 支持可變嵌入大小（768, 512, 256, 128, 64）并在檢索、相似性、聚類和分類任務上具有專長。它可以處理多達8,192個令牌的序列，并為文本和圖像數據提供多模態能力。

第三、BGE (BAAI)：BGE（BAAI 通用嵌入）模型將文本映射到密集向量，用于檢索、分類和語義搜索任務。最新的 BGE-M3 模型支持超過100種語言，并能處理多達8,192個令牌的文檔。它具有多功能性（密集檢索、多向量檢索、稀疏檢索）能力。

第四、Jina AI：Jina AI 的 jina-embeddings-v3 是一個擁有5.7億參數的模型，支持89種語言，在30種核心語言上表現出色。它具有8,192個令牌的輸入長度，可配置的輸出維度高達1,024，并在查詢-文檔檢索、聚類、分類和文本匹配方面具有專業能力。

3、模型的訪問和部署：Ollama

Ollama 已經成為開發者訪問和構建開源 LLMs 和嵌入模型的首選工具。

部署 AI Agent 智能體模型曾經就像試圖從你的車庫發射航天飛機一樣。它需要一系列令人望而生畏的專業知識：博士團隊、復雜的基礎設施，以及會讓大多數組織崩潰的資源。Ollama 徹底改變了游戲規則，允許開發者通過一個命令就能運行最先進的模型：

ollama run llama3.2

通過提供一個工具訪問數百個 LLMs 和嵌入模型，抽象掉基礎設施挑戰，并簡化部署流程，Ollama 將曾經看似不可逾越的事情變成了無縫且直觀的過程。它賦予開發者專注于解決現實世界問題的能力，無論是在個人項目還是企業項目中，都在創新和實用性之間架起了橋梁。

借助開源模型和 Ollama 的簡潔性，開發者獲得了前所未有的自由，可以按照他們選擇的方式部署 AI Agent 智能體。以一個案例為例：上面開源 LLMs 和嵌入模型部分提到的所有模型都可以通過 Ollama 獲得！

4、數據存儲和檢索：PostgreSQL, pgvector 和 pgai

PostgreSQL，這個開源數據庫及其面向 AI Agent 智能體的開源擴展生態系統，比如：pgvector 和 pgai，是希望構建 AI Agent 智能體應用程序的開發者的理想選擇。

良好的數據和高效的檢索是 AI Agent 智能體中 RAG 革命的核心，使開發者能夠創建 LLM 應用程序，為用戶提供高度準確、基于上下文、無幻覺的答案。

然而，最佳的 AI Agent 智能體應用程序不僅僅使用向量數據庫——它們涉及非結構化、結構化以及應用數據的結合，以及在大型數據集上使用復雜過濾器進行向量搜索。這樣的檢索系統確保您的用戶獲得最相關的上下文答案，但構建它們可能很復雜，在某些情況下，可能需要多個數據庫系統和自定義數據管道：

您需要存儲文檔和其他源數據以創建要搜索的知識庫。

您需要一種預處理這些數據的方法，從中創建向量嵌入，并隨著知識庫的變化保持這些嵌入同步。

您還需要能夠存儲和搜索向量嵌入，通常是在大規模下，并且需要在元數據和其他用戶數據上應用復雜的過濾器。更不用說處理多租戶、權限和訪問控制、高可用性等實際關注點。

好消息是，世界上最受歡迎的數據庫 PostgreSQL 正在從一個值得信賴的關系數據庫轉變為支持結構化數據、非結構化數據和快速、準確的向量搜索的 AI Agent 智能體應用程序的數據層。

PostgreSQL 是開源的，并且有一個開源擴展生態系統，使它成為支持 AI Agent 智能體應用程序存儲和檢索的首選數據庫：

第一、向量搜索：像 pgvector 和 pgvectorscale 這樣的擴展支持向量存儲和相似性搜索，其性能超過了專業的向量數據庫。

第二、易用性：像 pgai 這樣的擴展簡化了在 PostgreSQL 中訪問 LLMs 以對數據進行推理，而像 pgai Vectorizer 這樣的功能使嵌入創建和同步像傳統數據庫索引一樣直觀。

第三、集成和生態系統：Pgai 對 Ollama 的支持使得輕松訪問最先進的開源模型進行嵌入創建或推理變得簡單。

示例：使用幾行 SQL 執行語義搜索：

CREATE TABLE IF NOT EXISTS blog (
            id SERIAL PRIMARY KEY,
            title TEXT,
            authors TEXT,
            contents TEXT,
            metadata JSONB
 );


INSERT INTO blog (title, authors, contents, metadata) VALUES ('The Future of Artificial Intelligence', 'Dr. Alan Turing', 'As we look towards the future, artificial intelligence continues to evolve...', '{"tags": ["AI", "technology", "future"], "read_time": 12, "published_date": "2024-04-01"}');


--insert more data here


--Vectorize data in the contents column using models from Ollama
SELECT ai.create_vectorizer(
            'blog'::regclass,
            destination => 'blog_contents_embeddings',
            embedding => ai.embedding_ollama('nomic-embed-text', 768),
            chunking => 
ai.chunking_recursive_character_text_splitter('contents')
);


-- Perform semantic search
SELECT
            b.title,
            b.contents,
            be.chunk,
            be.embedding <=> ai.ollama_embed('nomic-embed-text', 'What comes next in AI') as distance
        FROM blog_contents_embeddings be
        JOIN blog b ON b.id = be.id
        ORDER BY distance
        LIMIT 3;

5、后端：FastAPI

你的 AI Agent 智能體應用程序后端將智能模型連接到面向用戶的應用程序，而 FastAPI 已經成為開發者的首選框架。它提供以下功能：

第一、速度和簡潔性：異步編程確保了低延遲和高吞吐量。

第二、開發者友好的設計：自動 API 文檔和類型提示使得快速迭代成為可能。

第三、無縫集成：非常適合實時應用程序，比如：聊天機器人、推薦引擎和預測分析。

FastAPI 消除了后端瓶頸，允許開發者輕松地將 AI Agent 智能體應用程序從原型擴展到生產。想象一下，部署一個由開源模型驅動的推薦系統。FastAPI 的異步功能確保用戶請求能夠即時處理，而其自動文檔保持了協作的無縫性。這些特性共同將復雜的后端工作流程轉變為可管理、高效的系統。

6、前端：NextJS

AI Agent 智能體應用的前端需要處理復雜的狀態管理和動態更新，而 NextJS已經成為生產部署中首選的 React 框架。

它提供了一系列有用的功能：

第一、混合渲染：服務器端渲染（SSR）和客戶端靜態渲染為每個頁面提供了靈活的渲染和緩存選項。Next.js 提供了強大的服務器端功能，這對于 AI Agent 智能體應用尤其有益。框架的 SSR 有助于高效地管理計算密集型的 AI 任務，同時減輕客戶端設備的負載。這在處理復雜的 AI 模型交互和數據處理時尤其重要。

第二、實時流和更新：它無縫集成各種實時解決方案，支持流暢的動態交互，這對于 AI 聊天和其他顯示動態內容的 UI 特別重要。

第三、與 Vercel AI SDK 集成：Vercel AI SDK（也是開源的）專為使用Next.js 創建 AI Agent 智能體應用而構建，并支持客戶端和服務器端的 AI 功能。它與 Ollama 集成得很好，并提供了處理 AI 模型推理、流式響應和與提供商連接的實用工具。

7、缺失的一環：評估和驗證

雖然開源 AI Agent 智能體堆棧已經成熟，但評估仍然是一個關鍵挑戰。像LangFuse 和 Arize 的 Phoenix 這樣的項目提供了希望，但生態系統仍然缺乏一個全面的框架來測試和驗證 AI 模型。這個空白代表了一個創新的機會——社區有機會定義可靠、現實世界的 AI Agent 智能體應用。

為什么這很重要：與傳統應用不同，大語言模型（LLMs）是非確定性的，這意味著如果你在沒有評估和驗證的情況下部署一個 AI Agent 智能體應用，你就無法判斷你的應用的表現。一個健壯的評估系統對于確保你的應用現在以及隨著系統發展都能表現良好至關重要。

我們應該說，鑒于開源社區在創建可觀察性和監控工具方面的強大記錄，我們覺得這種能力上的空白特別引人入勝。我們認為，總的來說，評估生態系統還處于起步階段，正確的做法尚未被發現。我們懷疑當前的系統過于一刀切，低估了跨項目評估需求的多樣性。需要的是一種類似于 DevOps 中 GitOps 革命的視角轉變，這也是為什么我們特別興奮地看到在這個領域開源驅動的創新被釋放出來。

8、創新開放獲取：您將構建什么？

開源 AI Agent 智能體堆棧不僅僅是一系列工具的集合——它是一場運動。開發者現在可以自由地構建、創新和控制他們的 AI Agent 智能體應用程序，無需擔心供應商鎖定或隱私問題。

通過開源 AI，您可以獲得：

第一、自由部署在任何地方——本地、云端或邊緣。

第二、對數據的完全控制——不與第三方共享。

第三、根據您的需求進行定制。

第四、與全球社區合作。

這不僅僅是關于技術；它是關于創造屬于您的東西。無論您是部署模型、構建RAG 應用還是推出新的 AI Agent 智能體服務，開源堆棧都讓您按照自己的方式去做。

本文轉載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/LNvnXhAt1tD7qJn0oQ2mXQ??