本文是AI LLM框架架構序列的第二篇：通信模塊

人工智能（AI）框架日益受到歡迎，因為它們簡化了智能應用和代理的構建過程。這些框架的一個關鍵組成部分是通信模塊，它允許用戶與AI系統之間的互動。

“溝通是人生中最重要的技能。” —— 史蒂芬·R·科維

1、通信模塊 —— AI與外界交流的橋梁

試想你正在和一個朋友交談。你說話，你的朋友仔細聽，處理你說的內容，思考回應，然后大聲回答。

現在想象用一個人工智能系統來替代你的朋友。AI如何接收你的話并智能地回應你呢？這就是通信模塊的作用 —— 它充當AI對外界的橋梁。

通信模塊負責無縫地將AI模型與用戶接口相連接。就像兩個說不同語言的人之間的翻譯一樣，該模塊通過將輸入和輸出轉化為雙方都能理解的形式來實現互動。

具體來說，通信模塊承擔了幾個關鍵角色：

• 輸入：模塊從各種形式如文本、聲音、圖像等接收輸入。它可能使用ASR來處理口語，或使用計算機視覺算法來解讀照片。
• 理解：接下來，它分析輸入并將其轉化為AI模型能夠理解的標準格式，使用諸如自然語言處理的技術。
• 路由：處理過的輸入被引導至AI模型的相關部分。
• 生成回應：AI模型確定一個合適的回應，并發送回通信模塊。
• 輸出：回應被轉化為自然的、人類可讀的語言或其他適當的格式。這可能依賴于TTS、會話代理、文本格式化等技術。
• 合成：最后，通過適當的通信渠道向用戶展示輸出，例如通過語音助手大聲說出。

通信模塊使AI系統能夠通過我們首選的溝通媒介與人類進行實時對話。其在輸入、輸出和集成方面的多方面角色使它成為AI難題中的關鍵部分。

2、通過實際例子理解通信模塊

為了更好地理解通信模塊的角色和價值，讓我們看一些實際的例子：

AI銷售助手

“這是一個工具，它時刻觀察潛在的客戶，分析他們業務的具體內容，并準備由決策層批準的銷售提案。這類AI助手應該尋找關系和聯系，以實現首次銷售接觸。”

管理這樣的助手可以通過兩個渠道來完成：

• 公司的CRM系統：其中一個引導機制將與應用和AI助手集成。員工將通過表格和按鈕來處理交互。
• 利用公司的即時通訊系統上的討論：為與AI助手互動而設立的專用渠道。

AI 知乎討論摘要應用

“一個智能應用，應能夠分析知乎上的討論，總結結論、任務、負責人和下一步的步驟。”

服務臺AI助手

“一個AI應用程序，是處理服務臺請求時的第一級支持。它可以接收用戶的請求，詢問附加問題，并根據公司的知識庫提供答案。如有必要，它可以將消息轉發給員工。”

在這種情況下，通信通常通過一個專用的服務臺系統進行，任務在其中被創建。對于通信模塊，新增請求或增加評論會通過API生成一個新消息發送給應用程序，而通過API報告的回應會是請求者評論中的回應。

網頁實時聊天AI應用

“近期非常受歡迎的解決方案 —— 放置在網站頁面上的聊天框。在這種情況下，AI可以自動化首次接觸，根據組織的知識庫和程序提供答案，如有必要，將消息轉發給員工。”

在這種情況下，通信將通過一個外部系統和通過API的集成進行。使用WebSocket或SSE技術將是有價值的。

3、與AI應用的通信

通信是人工智能（AI）系統運作的基石。就像人與人之間的互動，AI應用理解請求并提供有意義的回應的能力完全依賴于所使用的界面。因此，在設計一個AI系統時，選擇一個最佳的通信方式是至關重要的。

“我的語言的極限意味著我的世界的極限。” —Ludwig Wittgenstein

常見的溝通界面

AI系統中常用的幾種通信界面包括：

• 聊天式 — 支持會話式互動，例如聊天機器人。這里會使用NLP技術。
• 基于文檔 — 使用提供的文檔作為輸入數據。
• 基于圖像 — 分析如照片和視頻的視覺輸入。這里會使用CV技術。
• 基于文本 — 允許文本消息交換，例如通過聊天。這是一種簡單直觀的交互方式。
• 基于語音 — 使用語音識別和合成技術與用戶進行語音交流。
• 用戶界面 — 通過按鈕、菜單等圖形元素進行交互。
• API — 允許系統間通信的編程界面。允許與現有系統集成。
• 通信協議 — 例如 MQTT、AMQP、HTTP、SMTP、IMAP等。這些是為系統互操作性制定的標準協議。

與現有系統的集成

通信模塊可以與組織現有的IT基礎設施集成。這使得AI應用能夠通過既定的企業渠道進行溝通，如客戶門戶或內部聊天平臺。

4、通信模塊的要求

從之前的例子和關于通信流程的要求中，我們可以看出通信模塊需要具備一些關鍵能力：

“簡單，是最高的巧妙。” — 萊昂納多·達·芬奇

易于擴展

該解決方案應使得添加新的通信方式變得簡單，只需提供必要的接口即可。這樣就能輕易地添加如即時通訊軟件或智能客服這樣的新通道。

支持多渠道

考慮到現代的多用戶在線服務模式，這個模塊應能同時連接不同的通信方式，并為每一種方式提供合適的設置和登陸信息。

協議中立

無論是REST APIs、消息隊列等，該模塊都應能與其無縫配合。重要的是，它與特定的協議之間不應有過于緊密的綁定。

5、開放且適用于大企業

除了滿足基礎需求外，還要能夠針對大公司的特定場景進行定制，如增強的安全性、審計跟蹤、數據分析等。

解耦設計

這個通信模塊應當能簡化各種通信方式的細節，把它們變得像常規的交互方式。系統里的其他部分不需要過多擔心通信的各種小問題。跟渠道交流需要的信息和工具應當在接收到的消息里都包含有。

異步和可靠

因為現在的語言模型反應比較慢，通信要能異步進行，不讓用戶等太久。這個模塊應當能快速告知用戶消息已收到，并保證消息傳送的靠譜性。

可擴展和高性能

雖然一開始的小規模操作很簡單，但當越來越多人用的時候，難度就上來了。這個模塊要能隨時加大規模，不僅能應對小應用，還能處理大公司的大流量需求。

簡單說，這個通信模塊既要簡單易用，又要能擴展功能。同時也得穩定、不過于復雜，并隨時準備上線。細致的設計和異步處理消息是實現這個目標的關鍵。

6、總結

通信模塊就像是人和機器之間的翻譯員。人與人之間的交流如此重要，同樣，這個模塊在人和AI之間的交互中也起著關鍵作用。隨著AI越來越普及，好的通信模塊可以幫助人們更自然、順暢地使用這些智能系統。