本文深入探討了一個(gè)人工智能框架的高層次架構(gòu)，對(duì)其內(nèi)部各組件及其在整體系統(tǒng)中的功能進(jìn)行了剖析。這一AI框架旨在讓傳統(tǒng)軟件與大型語(yǔ)言模型（LLMs）的結(jié)合變得更為簡(jiǎn)便。

其核心目的是為開發(fā)者提供一套工具，幫助他們能夠?qū)⑷斯ぶ悄茼樌厝诤系揭呀?jīng)在公司中使用的軟件里。這種創(chuàng)新策略為我們創(chuàng)造了一個(gè)能同時(shí)運(yùn)行眾多AI應(yīng)用和智能代理的軟件平臺(tái)，進(jìn)而實(shí)現(xiàn)更為高端、復(fù)雜的解決方案。

1、AI框架的應(yīng)用示例

為更深入地理解這一框架的能力，以下列舉了一些能夠利用這個(gè)框架開發(fā)出來的應(yīng)用實(shí)例：

• AI銷售助手：這是一個(gè)能夠自動(dòng)搜索潛在客戶，分析其商業(yè)需求，并為銷售團(tuán)隊(duì)起草提案的工具。這樣的AI助手會(huì)尋找與目標(biāo)客戶建立聯(lián)系、打開銷售第一步的有效途徑。
• AI房產(chǎn)調(diào)研助手：這個(gè)工具可以持續(xù)監(jiān)測(cè)房地產(chǎn)市場(chǎng)的新房源，根據(jù)指定的標(biāo)準(zhǔn)篩選符合條件的房源。除此之外，它還可以設(shè)計(jì)溝通策略，收集關(guān)于某一房源的更多信息，并在購(gòu)房的各個(gè)環(huán)節(jié)中為用戶提供幫助。
• AI 知乎 討論摘要應(yīng)用程序這款智能應(yīng)用應(yīng)能夠分析 知乎 上的討論，提取結(jié)論、任務(wù)以及需要采取的下一步行動(dòng)。

2、AI框架模塊

AI框架應(yīng)為開發(fā)者提供一套不同的模塊，包括合同定義、接口以及通用抽象的實(shí)現(xiàn)。

這一解決方案應(yīng)是一個(gè)穩(wěn)健的基礎(chǔ)，您可以在其基礎(chǔ)上構(gòu)建自己的解決方案，使用經(jīng)過驗(yàn)證的模式，增加您自己的單個(gè)模塊的實(shí)現(xiàn)，或使用社區(qū)準(zhǔn)備的模塊。

• 提示和鏈?zhǔn)侥K負(fù)責(zé)構(gòu)建提示，即為語(yǔ)言模型編寫的程序，以及調(diào)用這些提示的鏈，它們會(huì)按順序一個(gè)接一個(gè)地執(zhí)行。該模塊應(yīng)使實(shí)施語(yǔ)言模型（LM）和大型語(yǔ)言模型（LLM）中使用的各種技術(shù)成為可能。它還應(yīng)能夠?qū)⑻崾九c模型結(jié)合，并創(chuàng)建提供跨多個(gè)LLM模型的單一功能的提示組。
• 模型模塊負(fù)責(zé)處理和連接 LLM 模型到軟件，使其對(duì)系統(tǒng)的其他部分可用。
• 通信模塊負(fù)責(zé)處理并增加與用戶的新通信渠道，無論是以其中一個(gè)消息傳遞程序中進(jìn)行的聊天的形式，還是以供與其他系統(tǒng)集成的 API 和 webhook(網(wǎng)絡(luò)鉤子) 的形式。
• 工具模塊負(fù)責(zé)提供功能，以添加由AI應(yīng)用程序使用的工具，例如從鏈接中讀取網(wǎng)站的內(nèi)容、讀取PDF文件、在線搜索信息或發(fā)送電子郵件的能力。
• 內(nèi)存模塊應(yīng)負(fù)責(zé)內(nèi)存管理，并允許為AI應(yīng)用程序添加額外的內(nèi)存功能實(shí)現(xiàn)，存儲(chǔ)當(dāng)前狀態(tài)、數(shù)據(jù)和當(dāng)前正在執(zhí)行的任務(wù)。
• 知識(shí)庫(kù)模塊該模塊應(yīng)負(fù)責(zé)管理訪問權(quán)限，并允許添加新的組織知識(shí)來源，例如關(guān)于流程、文檔、指導(dǎo)、以及組織中電子捕獲的所有信息。
• 路由模塊該模塊應(yīng)負(fù)責(zé)將來自通信模塊的外部信息路由到合適的AI應(yīng)用程序。它的角色是確定用戶的意圖并啟動(dòng)正確的應(yīng)用程序。如果該應(yīng)用程序之前已經(jīng)啟動(dòng)并且尚未完成操作，它應(yīng)恢復(fù)并從通信模塊傳遞數(shù)據(jù)。
• AI應(yīng)用模塊該模塊應(yīng)允許添加專門的AI應(yīng)用，這些應(yīng)用集中于執(zhí)行特定任務(wù)，例如自動(dòng)化或部分自動(dòng)化流程。一個(gè)示例解決方案可能是Slack或Teams聊天摘要應(yīng)用程序。這樣的應(yīng)用可能包括一個(gè)或多個(gè)鏈接在一起的提示，使用工具、內(nèi)存，并利用知識(shí)庫(kù)中的信息。
• AI代理模塊該模塊應(yīng)包含更高級(jí)的應(yīng)用版本，這些應(yīng)用能夠與LLM模型自主對(duì)話，自動(dòng)或半自動(dòng)地執(zhí)行分配的任務(wù)。
• 問責(zé)與透明度模塊問責(zé)與透明度模塊記錄用戶與AI系統(tǒng)之間的所有交互。它跟蹤查詢、響應(yīng)、時(shí)間戳和作者身份，以區(qū)分由人類生成和AI生成的內(nèi)容。這些日志為AI采取的自主行動(dòng)以及模型和軟件之間的消息提供了可見性。
• 用戶模塊除基本的用戶管理功能外，該模塊還應(yīng)維護(hù)跨來自不同模塊的集成系統(tǒng)的用戶帳戶映射。
• 權(quán)限模塊該模塊應(yīng)存儲(chǔ)用戶權(quán)限信息并控制用戶訪問資源，確保他們只能訪問適當(dāng)?shù)馁Y源和應(yīng)用程序。

3、AI框架組件架構(gòu)

為了更好地展示AI框架架構(gòu)中不同模塊之間的互動(dòng)方式，以下是一個(gè)組件圖的概述：

該圖展示了框架關(guān)鍵組件之間的關(guān)系：

• 提示和鏈?zhǔn)侥K：為AI模型構(gòu)建提示，并通過鏈?zhǔn)秸{(diào)用串聯(lián)多個(gè)提示，以實(shí)現(xiàn)更復(fù)雜的邏輯。
• 內(nèi)存模塊：通過內(nèi)存抽象進(jìn)行內(nèi)存管理。知識(shí)庫(kù)模塊則提供對(duì)知識(shí)來源的訪問。
• 工具模塊：提供AI應(yīng)用和代理可使用的工具。
• 路由模塊：將查詢定向到適當(dāng)?shù)腁I應(yīng)用程序。應(yīng)用程序則在AI應(yīng)用模塊中管理。
• 通信模塊：處理像聊天這樣的通信渠道。

這種組件架構(gòu)展示了不同模塊如何協(xié)同工作，使得構(gòu)建復(fù)雜的AI解決方案成為可能。模塊化的設(shè)計(jì)允許通過添加新組件來輕松擴(kuò)展功能。

4、模塊動(dòng)態(tài)示例

為了闡述AI框架模塊之間的協(xié)作，我們來分析系統(tǒng)中一個(gè)典型的信息處理路徑：

• 用戶通過通訊模塊使用聊天功能發(fā)送一個(gè)查詢。
• 路由模塊分析內(nèi)容，并從應(yīng)用模塊中確定合適的AI應(yīng)用。
• 該應(yīng)用從存儲(chǔ)模塊中取得必要的數(shù)據(jù)以恢復(fù)對(duì)話上下文。
• 接著，它使用命令模塊構(gòu)建合適的命令，并將它們傳遞給來自模型模塊的AI模型。
• 如有需要，它會(huì)執(zhí)行工具模塊中的工具，例如在線搜索信息。
• 最后，它通過通訊模塊向用戶返回回應(yīng)。
• 重要的信息會(huì)被存儲(chǔ)在存儲(chǔ)模塊中，以繼續(xù)對(duì)話。

多虧了這種運(yùn)作方式，框架模塊應(yīng)該能與彼此協(xié)作，使AI應(yīng)用和代理實(shí)現(xiàn)復(fù)雜場(chǎng)景。

5、總結(jié)

AI框架應(yīng)該為構(gòu)建現(xiàn)代基于AI的系統(tǒng)提供全面的工具。其靈活、模塊化的架構(gòu)應(yīng)該允許輕松擴(kuò)展功能并與組織現(xiàn)有的軟件集成。多虧了AI框架，程序員應(yīng)該能夠迅速地設(shè)計(jì)和實(shí)施使用語(yǔ)言模型的各種創(chuàng)新解決方案。擁有現(xiàn)成的模塊，他們應(yīng)該能夠?qū)Ｗ⒂跇I(yè)務(wù)邏輯和應(yīng)用功能。這使得AI框架有可能顯著加速許多組織的數(shù)字化轉(zhuǎn)型。