ChatGPT 無疑是最近網絡中最靚的仔，小汪哥通過這段時間的使用，加上對一些資料的查閱，了解了一些背后的原理，試圖講解一下ChatGPT應用的底層原理。如果有不正確的地方，歡迎指正。

閱讀本文可能為會你解答以下問題：

為什么有的ChatGPT 收費，有的不收費？

為什么ChatGPT是一個字一個字地回答的？

為什么中文問題的答案有時候讓人啼笑皆非？

為什么你問它今天是幾號，它的回答是過去的某個時間？

為什么有的問題會拒絕回答？

“ChatGPT 國內版” 運行原理

隨著ChatGPT的爆火，出現了很多國內版，這種版本免費是使用次數和后續收費方式都是不同的。小汪哥畫了一個草圖，試著來幫忙理解。

【對于方式一】：就是注冊了賬號之后，科學上網就可以使用，目前沒有次數限制。注冊成本可以參考我之前的文章。

【對于方式二】：據了解不需要科學上網，使用成本是購買“國內版ChatGPT”運營商的服務，所以使用成本也不一樣。

ChatGPT，它在內部是如何工作的？

首先，OpenAI 于 2022 年 11 月 30 日推出了一款新的對話助手。該聊天機器人基于語言模型（大型語言模型的 LLM）GPT-3，或者更準確地說，基于其版本 3.5。ChatGPT 實際上是 InstructGPT 的改編版，后者于 2022 年 1 月推出，但當時并沒有給人留下同樣的印象。

ChatGPT 和前輩相比，厲害在哪里？

歸功于它能夠自動生成類似于人類的文本的能力，以及它能夠在考慮對話上下文的同時避免其前輩的缺點的能力，例如來自 Microsoft 的 Tay 或來自 Meta 的 Galactica。Tay 在 24 小時內變得種族主義和仇外心理。卡拉狄加正在制造胡說八道和錯誤信息，并且可以以非常有說服力的方式就種族主義發表意見。Tay 在 24 小時內被關閉，Galactica在三天后進行了關閉。OpenAI 似乎從微軟和 Meta 的錯誤中吸取了教訓。在很短的時間內，將系統推向了前所未有的水平。

什么是GPT-3?

GPT（Generative Pre-trained Transformer）系列模型是由基于Transformer技術的語言模型組成。它由位于舊金山的公司 OpenAI 開發。OpenAI 于 2015 年 12 月由 Elon Musk（就是特斯拉電動車的老板）和美國商人 Sam Altman 創立，Sam Altman 是孵化器 Y Combinator（Scribd、Reddit、Airbnb、Dropbox、GitLab、Women Who Code 等）的前任總裁。)，并自 2020 年起擔任 OpenAI 董事會主席。

2020 年，GPT-3 是有史以來最大的語言模型，擁有 1750 億個參數。它太大了，需要 800 GB 的內存來訓練它。

LLM 通常是從大量不同語言和領域的示例文本生成的。GPT-3 已經接受了來自 Common Crawl、WebText2、Books1/2 和 Wikipedia 的數千億個英語單詞的訓練（小汪哥認為這也是為什么我們用中文提問，它有時候的回答讓我們啼笑皆非的原因）。它還接受了使用 CSS、JSX、Python 等編碼的程序示例的訓練。它接受 2048 個標記作為輸入，這使其能夠處理大約 1,500 個單詞的非常大的句子（OpenAI 認為標記是單詞的一部分大約四個字符，并以 1,000 個標記代表大約 750 個單詞為例）。

GPT-3 被歸類為生成模型，這意味著它主要接受訓練以預測輸入句子末尾的下一個標記，即下一個單詞（這也是為什么它是一個字一個字的出現在屏幕上的）。現在在搜索引擎或 Outlook 中發現的一種自動完成機制。

GPT-3 因其生成極其接近記者或作者能力的文本的能力而被多次引用。只需給它一個句子的開頭，它就會逐字完成段落或文章的其余部分。通過擴展，該模型已經證明它能夠處理大量的語言處理任務，例如翻譯、回答問題和填充文本中缺失的單詞。

GPT-3.5 是 GPT-3 模型的變體。在 2021 年第四季度之前，它已經使用選定的文本和代碼的混合物進行了訓練。這解釋了為什么 ChatGPT 無法在該日期之后喚起事實。（就這解釋了為什么你問它今天是幾號，它的回答是過去的某個時間）。

我們是有的問題會拒絕回答？

如果我們問一些不道德的問題，它會拒絕回答：如下：

它會禮貌地拒絕回答。與 Tay 和 Galactica 不同，ChatGPT 的訓練是在源頭使用審核 API 進行審核的，這允許在訓練期間推遲不適當的請求。盡管如此，誤報和漏報仍然會發生并導致過度節制。審核 API 是由 GPT 模型基于以下類別執行的分類模型：暴力、自殘、仇恨、騷擾和性。為此，OpenAI 使用了匿名數據和合成數據（零樣本），尤其是在數據不足的情況下。

最后

ChatGPT 模擬真實對話的能力非凡。即使我們知道它是一臺機器，一種算法，我們也只能陷入向它提出許多問題的游戲中，以至于機器因其超大的知識而顯得神圣。

但當仔細觀察它時，它仍然是一個句子生成器，沒有像人類那樣的理解和自我批評。我更加好奇接下來會發生什么，以及他們將在這種類型的架構上取得多大的成功。

參考：

Model Index: https://beta.openai.com/docs/model-index-for-researchers

InstructGPT: https://openai.com/blog/instruction-following/

ChatGPT : https://openai.com/blog/chatgpt/

BLOOM: https://bigscience.huggingface.co/blog/bloom

Y Combinator: https://fr.wikipedia.org/wiki/Y_Combinator