一口氣看完《哈利波特》：AI大模型「量子速讀」，一分鐘抵人類五小時

作者：機器之心 2023-05-14 14:15:00

OpenAI 的 GPT-4 可以處理的上下文 token 最多可達 32k（約 50 頁文本）。如今，前 OpenAI 員工創建的 Anthropic 公司再次升級了對標模型 Claude，將上下文 token 擴展到了 100k，處理速度也大大加快。

最近一段時間，OpenAI 憑借 GPT 系列模型以及 ChatGPT，一直是最受關注的研究機構。但最近兩年，一家 AI 初創公司正在走進大家的視野，這家公司名為 Anthropic，成立于 2021 年，專注于開發通用 AI 系統和語言模型，并秉持負責任的 AI 使用理念。

不知大家是否還記得 2020 年末，OpenAI 核心員工集體離職事件，當時這件事在 AI 圈還引起了不小的轟動。Anthropic 就是由這些離職的人員創建的，其中包括 OpenAI 前研究副總裁 Dario Amodei、GPT-3 論文一作 Tom Brown 等人。

今年一月，Anthropic 已籌集了超過 7 億美元的資金，最新一輪的估值達到了 50 億美元。與此同時，在 ChatGPT 發布兩個月后，這家公司就迅速開發了一種對標老東家 ChatGPT 的人工智能系統 Claude。

Claude 申請訪問地址：https://www.anthropic.com/earlyaccess

Claude 使用了 Anthropic 自行開發的一種被稱為「constitutional AI」的機制，其旨在提供一種「基于原則」的方法使 AI 系統與人類意圖保持一致。

Claude 可以完成摘要總結、搜索、協助創作、問答、編碼等任務。根據用戶反饋，Claude 生成有害輸出的可能性較小，更容易進行對話，并且更易于控制。除此以外，Claude 還可以根據指示來設定個性、語氣和行為。

不過 Anthropic 并沒有提供關于 Claude 的太多技術細節，但在論文《Constitutional AI: Harmlessness from AI Feedback》中描述了 Claude 背后技術，感興趣的讀者可以前去查看。

論文地址：https://arxiv.org/pdf/2212.08073.pdf

早在一月份，就有研究者對 Claude 一次性可以處理的最大文本量進行了測試，顯示 Claude 可以回憶起 8k 個 token 中的信息。

時隔沒多久，本周四，Anthropic 推出了 100K Context Windows，它將 Claude 的上下文窗口從 9k token 擴展到了 100k，這相當于 75,000 個單詞。這意味著企業可以提交數百頁材料讓 Claude 消化和解釋，并且與它的對話可以持續數小時甚至數天。現在可以通過 Anthropic API 訪問 100K context windows。

我們知道，大模型越先進，能夠同時處理的文本就越長，7.5 萬字是個什么概念呢？大概相當于一鍵總結《哈利波特》第一部。

看起來絕大多數論文、新聞報道和中短篇小說都不在話下了。

Claude 再進化：真「AI 量子速讀」

根據科學研究，普通人可以在 5 小時左右的時間里閱讀 100,000 個 token，并可能需要更長的時間來消化、記憶和分析這些信息。現在 Claude 可以在不到 1 分鐘的時間里完成這些。

上下文窗口的一般計算。

Anthropic 首先將《了不起的蓋茨比》的整個文本加載到了 Claude-Instant（72 K tokens，Claude 兩個版本 Claude 和 Claude Instant，Claude 是最先進的高性能模型，而 Claude Instant 是更輕、更便宜、更快的選擇。）中，并修改了一行「Carraway 先生是一位在 Anthropic 從事機器學習工作的軟件工程師」。當 Anthropic 要求模型找出與原文的不同之處時，它會在 22 秒內給出正確答案。

除了閱讀長文本之外，Claude 還有助于從文檔中檢索信息，從而對業務運營產生助益。用戶可以將多個文檔甚至一本書放入 prompt 中，然后向 Claude 提出問題（需要對文本的很多部分進行綜合知識分析）。對于復雜的問題，這可能比基于向量搜索的方法有效得多。Claude 可以按照用戶的指令返回他們正在搜尋的信息，就像人類助手一樣。

Anthropic 接著將大語言集成工具 LangChain API 開發者文檔（240 頁）放入模型中，然后針對所提問題給出了使用 Anthropic 語言模型的 LangChain demo。