架構設計模式已成為程序員的重要技能。然而，當我們轉向大模型應用領域，情況可能會有所不同。面對新興技術，比如：生成式 AI，我們尚缺乏成熟的設計模式來支撐這些解決方案。

根據多年的架構設計經驗，我在這里整理總結了一些針對大模型應用的設計方法和架構模式，試圖應對和解決大模型應用實現中的一些挑戰，比如：成本問題、延遲問題以及生成的幻覺等問題。

1、路由分發架構模式

當用戶輸入一個 Prompt 查詢時，該查詢會被發送到路由轉發模塊，而路由轉發模塊則扮演著對輸入 Prompt 進行分類的角色。

如果 Prompt 查詢是可以識別的，那么它會被路由到小模型進行處理，這通常是一個更準確、響應更快且成本更低的操作。然而，如果 Prompt 查詢無法被識別，那么它將由大模型來處理。盡管大模型的運行成本較高，但它能夠成功返回更多種類型查詢的答案。通過這種方式，大模型應用產品可以在成本、性能和用戶體驗之間實現平衡。

2、大模型代理架構模式

在任何一個生態系統中，都會有多個針對特定任務領域的專家，并行工作以處理特定類型的查詢，然后將這些響應整合在一起，形成一個全面的答案。

這樣的架構模式非常適合復雜的問題解決場景，在這種場景中，問題的不同方面需要不同的專業知識，就像一個由專家組成的小組，每個專家負責處理更大問題的一個方面。

更大的模型（比如：GPT-4）負責理解上下文，并將其分解為特定的任務或信息請求，這些任務或信息請求被傳遞給更小的代理模型。這些代理模型可能是較小模型，它們已經接受過特定任務的訓練，或者是具有特定功能的通用模型，比如：BERT、Llama-2、上下文提示和函數調用。

 3、基于緩存的微調架構模式

我們將緩存和微調引入到大模型應用架構中，可以解決成本高、推理速度慢以及幻覺等組合問題。

通過緩存初始結果，能夠在后續查詢中迅速提供答案，從而顯著提高了效率。

當我們累積了足夠的數據后，微調層將啟動，利用早期交互的反饋，進一步完善一個更為專業化的私有大模型。

專有私有大模型不僅簡化了操作流程，也使專業知識更好地適應特定任務，使其在需要高度精確性和適應性的環境中，比如：客戶服務或個性化內容創建，表現得更為高效。

對于剛入門的用戶，可以選擇使用預先構建的服務，比如：GPTCache，或者使用常見的緩存數據庫：Redis、Cassandra、Memcached 來運行自己的服務。

4、面向目標的 Agent 架構模式

對于用戶的 Prompt 提示詞，Agent 會基于大模型先做規劃（Planning），拆解成若干子任務，然后對每個子任務分別執行（Action），同時對每一步的執行結果進行觀測（Observation），如果觀測結果合格，就直接返回給用戶最終答案，如果觀測結果不合格或者執行出錯，會重新進行規劃（Replanning）。

這種面向目標的 Agent 架構模式非常常見，也是 AGI 大模型時代，每一個程序員同學都需要掌握的架構設計模式。

5、Agent 智能體組合架構模式

該架構設計模式強調了靈活性，通過模塊化 AI 系統，能自我重新配置以優化任務性能。這就像一個多功能工具，可以根據需求選擇和激活不同的功能模塊，對于需要為各種客戶需求或產品需求定制解決方案的企業來說，這是非常有效的。

我們可以通過使用各種自主代理框架和體系結構來開發每個 Agent 智能體，比如：CrewAI、Langchain、LLamaIndex、Microsoft Autogen 和 superAGI等。

通過組合不同的模塊，一個 Agent 可以專注于預測，一個處理預約查詢，一個專注于生成消息，一個 Agent 來更新數據庫。將來，隨著專業 AI 公司提供的特定服務的增多，我們可以將一個模塊替換為外部或第三方服務，以處理特定的任務或領域的問題。

6、雙重安全架構設計模式

圍繞大模型的核心安全性至少包含兩個關鍵組件：一是用戶組件，我們將其稱為用戶 Proxy 代理；二是防火墻，它為大模型提供了保護層。

用戶 Proxy 代理在查詢發出和返回的過程中對用戶的 Prompt 查詢進行攔截。該代理負責清除個人身份信息和知識產權信息，記錄查詢的內容，并優化成本。

防火墻則保護大模型及其所使用的基礎設施。盡管我們對人們如何操縱大模型以揭示其潛在的訓練數據、潛在功能以及當今惡意行為知之甚少，但我們知道這些強大的大模型是脆弱的。

在安全性相關的技術棧中，可能還存在其他安全層，但對于用戶的查詢路徑來說，Proxy 代理和防火墻是最關鍵的。

本文轉載自公眾號玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/RfjImOfo2AO5YELJ3Cki7A??