3 月 23 日，OpenAI 又投出了一枚重磅炸彈：為 ChatGPT 推出插件系統！

此舉意味著 ChatGPT 將迎來“APP Store”時刻，也就是圍繞它的能力，形成一個開發者生態，打造出基于 AI 的“操作系統”！

插件系統將為 ChatGPT 帶來質的飛躍，因為借助于插件服務，它可以獲取實時的互聯網信息、調用第三方應用（預定酒店航班、點外賣、購物、查詢股票價格等等）。

ChatGPT 是一個無比聰明的大腦，而插件會成為它的眼睛、耳朵、手腳、甚至于翅膀，能力驚人，未來不敢想象！

官方目前提供了兩個插件：

• 一個網頁瀏覽器。利用新必應瀏覽器的 API，實時搜索互聯網內容，并給出答案和鏈接
• 一個代碼解釋器。利用 Python 解釋器，可以解決數學問題、做數據分析與可視化、編輯圖片、剪輯視頻等等，還支持下載處理后的文件

另外，OpenAI 還開源了一個知識庫檢索插件 chatgpt-retrieval-plugin ，這個插件通過自然語言從各種數據源（如文件、筆記、郵件和公共文檔）檢索信息。有了開源代碼后，開發者可以部署自己的插件版本。

想象一下，假如我提供了一個“Python 知識庫插件”，以所有官方文檔作為數據源，那以后有任何 Python 使用上的問題，我就只需詢問 ChatGPT，然后它調用插件并解析數據，最后返回給我準確的答案。這將節省大量的時間！

不僅如此，你還可以用書籍作為數據源，打造出“西游記知識庫”、“紅樓夢知識庫”、“百科全書知識庫”、“個人圖書館知識庫”，等等；以專業領域的論文與學術期刊為數據源，創造出一個專家助手，從此寫論文查資料將無比輕松；以蘇格拉底、喬布斯、馬斯克等名人的資料為數據源，創造出人格化的個人顧問……

作為第一個開源的 ChatGPT 插件，chatgpt-retrieval-plugin 項目一經發布，就登上 Github 趨勢榜第一，發布僅一周就獲得 11K stars。

這個項目完全是用 Python 寫的，不管是出于學習編程的目的，還是為了將來開發別的插件作借鑒，這都值得我們花時間好好研究一下。

接下來，我將分享自己在閱讀項目文檔和源碼時，收獲到的一些信息。

首先，該項目含 Python 代碼約 3 K，規模不算大。項目結構也很清晰，目錄如下：

除去示例、測試、配置文件等內容外，最主要的三個目錄如下：

datastore 數據存儲

數據源的文本數據會被映射到低維度向量空間，然后存儲到向量數據庫中。官方已提供 Pinecone、Weaviate、Zilliz、Milvus、Qdrant、Redis 這幾種數據存儲方案的示例。另外，有幾個 pull requests 想要加入 PostgreSQL 的支持，大概率將來會合入。

這里使用了抽象工廠設計模式 ，DataStore 是一個抽象類，每種數據存儲庫是具體的實現類，需要實現三個抽象方法：

（1）_upsert(chunks: Dict[str, List[DocumentChunk]]) -> List[str] 方法，接收一個字典參數，包含有 DocumentChunk 對象列表，將它們插入到數據庫中。返回值為文檔 ID 的列表。

（2）_query(queries: List[QueryWithEmbedding]) -> List[QueryResult] 方法，接收一個列表參數，包含被 embedding 的查詢文本。返回一個包含匹配文檔塊和分數的查詢結果列表。

（3）delete(ids: Optional[List[str]] = None, filter: Optional[DocumentMetadataFilter] = None, delete_all: Optional[bool] = None, ) -> bool 

值得注意的是，該目錄下的factory.py 模塊使用了 Python 3.10 新引入的 match-case 語法，緊跟著 Python 社區的新潮流呢~

server 服務端接口

這個目錄只有一個main.py 文件，是整個項目的啟動入口。它使用了目前主流的 FastAPI 框架，提供了增刪改查的幾個 API，另外使用 uvicorn 模塊來啟動服務。

• /upsert-file 接口，用于上傳單個文件，將其轉換為 Document 對象，再進行新增或更新
• /upsert 接口，上傳一系列的文檔對象，用于新增或更新
• /query 接口，傳入一系列的文本條件，轉成 QueryWithEmbedding 對象后，再從向量數據庫查詢
• /delete 接口，根據條件刪除或者全部刪除數據庫中的數據

在這幾個接口中，增改刪功能主要是給開發者/維護者使用的，ChatGPT 只需調用插件的查詢接口。因此，代碼中還創建了一個“/sub”子應用，只包含/query 接口，提供給 ChatGPT 調用。

另外，它使用 FastAPI 的 mount 方法掛載了一個“/.well-known”靜態文件目錄，暴露了關于本插件的基本信息，例如名稱、描述、作者、logo、郵箱、提供給 OpenAPI 的接口文檔等等。

services 任務處理方法

這個目錄下是一些通用的函數，比如下面這些：

（1）chunks.py 文件包含了將字符串和 Document 對象分割成小塊、以及為每個塊獲取嵌入向量的函數。

（2）file.py 文件提供了從上傳的文件中提取文本內容及元數據的函數。目前支持解析的文件類型包括 PDF、純文本、Markdown、Word、CSV 和 PPTX。

（3）openai.py 文件包含兩個函數：get_embeddings 函數使用 OpenAI 的 text-embedding-ada-002 模型對給定的文本進行嵌入。get_chat_completion 函數使用 OpenAI 的 ChatCompletion API 生成對話。

整個而言，這個插件的幾個接口功能很清晰，代碼邏輯也不算復雜。核心的文本嵌入操作是借助于 openai 的 Embedding 接口，文本分塊信息的存儲及查詢操作，則是依賴于各家向量數據庫的功能。

YouTube 上有博主手畫了一張示意圖，字體雖潦草，但大家可以意會一下：

他這個視頻 值得推薦一看，因為 up 主不僅簡明地介紹了插件的工作原理，還手把手演示如何部署到 Digital Ocean、如何修改配置、如何調試，而且他有 ChatGPT 的插件權限，可以將自己部署的插件接入 ChatGPT，現場演示了知識庫插件的使用！

視頻：https://www.youtube.com/watch?v=hpePPqKxNq8

目前，關于 ChatGPT 插件的介紹、開發及配置等資料還比較少，畢竟是新推出的。但是，申請 waitlist 的個人和組織已經數不勝數了，一旦開放使用，各式各樣的插件一定會像 Python 社區豐富的開源庫一樣，也將極大擴展 ChatGPT 的生態。

最后，插件 chatgpt-retrieval-plugin 的官方文檔是最為詳細的一手資料，推薦大家研究一番。?https://github.com/openai/chatgpt-retrieval-plugin??

??作者 l 豌豆花下貓  

來源 l Python貓（ID：python_cat）

作者簡介 ▽

豌豆花下貓，生于廣東畢業于武大，現為蘇漂程序員，有一些極客思維，也有一些人文情懷，有一些溫度，還有一些態度。