ChatGPT在廣泛的開放域任務上展現出令人矚目的強大對話、上下文學習和代碼生成能力，而且它所獲得的常識知識還可以為特定領域的任務生成高級解決方案概要。不過，除了更強大的學習、理解和生成能力，ChatGPT還有哪些問題需要解決呢？

微軟最近發布了TaskMatrix.AI，可能是人工智能生態系統中的另一個方向，將基礎模型與數百萬個API連接起來以完成任務，是Toolformer和chatGPT的結合，可能也是LLM的另一個未來。

1. 問題

ChatGPT或GPT-4在一些專業任務中仍然面臨困難，因為它們在預訓練期間缺乏足夠的領域特定數據，或者它們在執行需要準確執行任務的神經網絡計算中經常出現錯誤。另一方面，還有許多現有的模型和系統（基于符號或基于神經網絡），可以非常好地完成一些領域特定的任務。然而，由于不同的實現或工作機制，它們不容與基礎模型兼容。

此外，人工智能的用例是無窮無盡的，不僅在數字世界中提供幫助，而且在物理世界中幫助完成各種任務，從照片處理到控制智能家居設備，它可以做的往往超出想象。

因此，需要一種機制，可以利用基礎模型提出任務解決方案的概要，然后自動將概述中的一些子任務與現成的具有特殊功能的模型和系統的API進行匹配，以完成它們。TaskMatrix.AI 就是這樣一種機制。

2. TaskMatrix.AI 概述

TaskMatrix.AI 通過將基礎模型與現有模型和 API 相結合，以服務于各種各樣的任務。以下是 TaskMatrix.AI 可以執行的任務：

• 人工智能可以通過將基礎模型作為核心系統來理解不同類型的輸入（例如文本、圖像、視頻、音頻和代碼），執行數字和物理任務，然后生成代碼來調用 API 來完成任務。
• TaskMatrix.AI 有一個 API 平臺，作為各種領域任務的存儲庫。這個平臺上的所有 API 都有一致的文檔格式，這使得基礎模型很容易使用，開發人員也很容易添加新的 API。
• TaskMatrix.AI 具有強大的終身學習能力，因為它可以通過向 API 平臺添加具有特定功能的新 API 來擴展其處理新任務的技能。
• 由于任務解決邏輯（即操作代碼）和 API 的結果都是可以理解的，因此 TaskMatrix.AI 的響應具有更好的可解釋性。

3. TaskMatrix.AI de 體系結構

TaskMatrix.AI的整體架構及其四個主要組成部分：

• 多模態對話基礎模型(MCFM)：它負責與用戶通信，理解他們的目標和(多模態)上下文，并基于 API 生成可執行代碼以完成特定任務。
• API 平臺：提供一個統一的 API 文檔模式來存儲具有不同功能的數百萬個 API，并允許 API 開發人員或所有者注冊、更新和刪除他們的 API。
• API 選擇器：根據 MCFM 對用戶命令的理解推薦相關的 API。
• API 執行器：通過調用相關 API 執行生成的操作代碼，并返回中間和最終執行結果。

這4個子系統共同工作，使TaskMatrix.AI能夠理解用戶目標，并為特定任務執行基于 API 的可執行代碼。多模態會話基礎模型(MCFM)作為用戶交流的主要接口，可以理解多模態上下文。API 平臺提供了一個統一的 API 文檔模式和一個存儲數百萬 API 的地方。API 選擇器使用 MCFM 對用戶目標的理解來推薦相關的 API。最后，API 執行器執行由相關 API 生成的操作代碼并返回結果。此外，該團隊還利用人工反饋(RLHF)技術的強化學習來訓練一種獎勵模型，該模型可以優化任務矩陣(taskMatrix)。該方法可以幫助 MCFM 和 API 選擇器找到最優策略，提高復雜任務的性能。

3.1 多模態會話基礎模型(MCFM)

MCFM 有四個輸入：基礎模型的參數、API 平臺、用戶指令和會話上下文。使用這些輸入，模型生成操作代碼來完成用戶的指令。此外，理想的多模式會話框架模型 (MCFM) 應該具有以下四個主要功能：

• 獲取多模式輸入，并根據特定任務的 API 生成可執行代碼。
• 從用戶指令中提取特定任務并提出解決方案大綱。
• 了解如何從文檔中使用 API，并根據常識和 API 使用歷史將其與特定任務進行匹配。
• 包含一個明確的代碼驗證機制來確認可靠性和可信性。

ChatGPT 和 GPT-4 是具有 MCFM 所需的這些能力的兩個模型示例。然而，GPT-4 更適合，因為它支持多模態輸入。

3.2 API 平臺

API 平臺有兩個主要功能: 存儲 API 和管理 API 的開發者或所有者。API 平臺有一個統一的 API 文檔模板，包括每個 API 文檔的五個方面:

• API 名稱: 提供 API 概述并作為操作執行者的入口。
• 參數列表: 包括輸入參數和返回值，每個參數都有名稱、說明、數據類型和默認值。
• API 描述: 包含有關 API 的功能、工作原理、輸入和輸出以及潛在錯誤或異常的信息。
• 應用示例(可選): 展示如何使用該 API。
• 組合指導(可選): 提供如何組合多個 API 以完成復雜用戶指令的指導。
• API 平臺有兩個主要功能: API 的存儲和開發人員或所有者對 API 的管理。

API 描述示例：打開一個文件

API Name: open_local_file
API Parameter: (file_path:string, model:string="r"). 
    file_path: string, the pathname (absolute or relative to the current working directory) of the file to be opened.
    mode: string="r", the mode is an optional string that specifies the mode in which the file is opened. It defaults to "r" which means open for reading in text mode. Other common values are "w" for writing. This file will return a File object or OSError.

API Description: Open the file and return a corresponding file object. If the file cannot be opened,an OSError is raised.

Usage Example: f = open_local_file("example.txt", "w")

Composition Instructions: Open should be used before reading and editing. The file should be closed by close_local_file after all operations.

3.3 API 選擇器

API選擇器旨在從API平臺中識別和選擇最適合任務需求的API。它可以通過檢索語義相關的API來減少API平臺可能擁有的過多API。API選擇器可以利用模塊策略來快速定位相關的API。

模塊策略是指根據API的領域將API組織成特定的包或模塊的方法。每個模塊對應于一個特定的區域，例如可視化模型、數學、特定的軟件或物理設備。通過使用這種策略，API選擇器可以快速定位符合MCFM所理解的任務需求和解決方案大綱的相關API。這種方法有助于簡化API選擇過程，并使從API平臺檢索語義相關的API變得更加容易。

3.4 動作執行器

動作執行器被設計用來執行動作代碼。AI 使用一個動作執行器來運行各種 API，從簡單的 HTTP 請求到需要多個輸入參數的復雜算法或 AI 模型。

動作執行器還需要一個驗證機制來提高準確性和可靠性，并確認生成的代碼的結果是否符合人類指定的任務。

3.5 以人為本的強化學習(RLHF)

TaskMatrix.AI 將利用 RLHF 來增強 MCFM 和 API 選擇器，以便在復雜任務中提供更好的性能。

RLHF 將專門用于優化 API 選擇器，使用基于 API 反饋的訓練有素的獎勵模型：

• 給 API 開發者的反饋
• API 開發人員將收到關于他們的 API 是否用于完成任務的反饋。

這將允許以最優化的方式創建 API 文檔來使用給定的 API。

4. TaskMatrix 的用例

TaskMatrix. AI 可以幫助解決哪些任務呢？

TaskMatrix. AI 與基礎模型、云服務、機器人技術和物聯網的持續發展相結合，有潛力創造一個生產力和創造力都有所提高的未來世界。

4.1 可視化任務

基于MCFM的多模態特性，TaskMatrix.AI可以執行可視化任務，并且能夠將語言和圖像作為輸入。它可以執行的一些視覺任務，下圖顯示了TaskMatrix.AI如何構建在VisualChatGPT之上，并能夠更好地處理VQA任務。

圖像編輯，可以刪除或替換圖像中的對象，也可以通過TaskMatrix.AI進行。使用圖像處理技術或計算機算法Image-to-Sketch/Depth/Hed/Line，可以將圖像轉換為草圖、深度、整體嵌套的邊緣檢測或線。Sketch/Depth/Hed/Line-to-Image與上面的相反，它將根據給定的選項生成圖像。

下圖顯示了TaskMatrix.AI如何使用三個API調用（圖像問答、圖像字幕和替換圖像中的對象）在解決方案大綱上定義和執行的示例。

4.2 多模態長內容生成

TaskMatrix.AI 的另一個用例是創建大型多模式（圖像和文本）內容，以消除其他模型的字符限制。

在下面的例子中，我們可以看到 TaskMatrix.AI如何從用戶那里獲得高級指令并生成合理的響應。

4.3 辦公自動化

TaskMatrix.AI 可以通過理解通過語音接收的用戶指令并使任務自動化來輕松減少辦公的工作量。此外，它還可以在沒有大量培訓的情況下使用復雜的軟件，從而讓員工能夠專注于更緊急的任務。

下面的例子展示了 TaskMatrix.AI 和創建 PowerPoint 幻燈片時使用不同 API 的人之間的對話。

4.4 云服務的利用

TaskMatrix.AI 可以像智能家居自動化一樣工作，能夠與家里的所有設備通訊，并作為它們之間的中心連接點。下面的圖片顯示了一個人和 TaskMatrix.AI 之間的對話，TaskMatrix.AI 利用內部機器人的軟件和硬件來完成日常任務。

此外，TaskMatrix.AI 可以在許多其他場景中使用，唯一的要求是它可以利用 API，例如訪問元宇宙或 Web3。

5. TaskMatrix.AI的挑戰

TaskMatrix.AI 仍然有相當多的缺點和局限性需要解決和處理, 例如：

• 對需要創建能夠處理各種任務和各種輸入的基礎模型，從人類反饋中學習，并使用常識推理以最高質量完成任務。確定TaskMatrix.AI所需的最小模態集合并對其進行訓練仍然具有挑戰性。
• 創建和維護一個托管數百萬 API 的平臺需要解決幾個挑戰，API 文檔生成、API 質量保證和API 創建建議，基于此，API 平臺應該為 API 開發人員提供進一步的指導，以創建新的 API 來解決這些任務。
• 利用數百萬個 API 完成用戶指令帶來了新的挑戰，超越了自由文本生成，向 MCFM 推薦相關的 API 來解決特定任務至關重要。對于復雜的任務，TaskMatrix.AI 可能無法立即提出解決方案。相反，MCFM 應與用戶進行交互，嘗試不同的可能解決方案，找出最合適的方案。
• 安全性和隱私性可能是一個問題，需要驗證模型是否完成用戶指令，而不做任何超出用戶意圖的事情。數據傳輸應安全，并在與需要訪問敏感數據的不同域的各種API集成時進行授權的數據訪問。
• TaskMatrix.AI需要一種個性化策略來幫助單個開發者構建自己的個性化AI界面，以及幫助用戶擁有自己的個人助手。降低擴展成本，與用戶的少量示例對齊都是挑戰。

6. 小結

回顧摩爾定律，或許，“AI的數量每18個月翻一番”會成為一個新的定律。

TaskMatrix.AI 將基礎模型與數以百萬計的現有模型和系統 API集成起來，從而產生一個能夠執行各種數字和物理任務的“超級人工智能”。作為一個AI平臺，允許人類利用大模型和 API 執行大量多樣化的任務。它能夠處理每一個普通的任務(例如，制作 PPT 幻燈片或者按時間表運行清潔機器人來打掃房間) ，讓我們更有生產力和創造力。

【參考文獻】 

TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs,https://arxiv.org/pdf/2303.16434.pdf