特斯拉前AI總監Andrej Karpathy的新教程火了。

這次，他專門面向普通大眾做了一個關于大語言模型的科普視頻。

時長1小時，全部為“非技術介紹”，涵蓋模型推理、訓練、微調和新興大模型操作系統以及安全挑戰，涉及的知識全部截止到本月（非常新）。

△視頻封面圖是Andrej用Dall·3畫的

視頻上線油管僅1天，就已經有20萬播放量。

有網友表示：

我剛看了10分鐘就已經學到了很多東西，我以前從未用過視頻中講的這樣的例子來解釋LLM，它還弄清了我以前看到過的很多“混亂”的概念。

在一水兒的夸課程質量高之外，還有相當多的人評價Andrej本人真的非常擅長簡化復雜的問題，教學風格也總是讓人印象深刻。

不止如此，這個視頻還可以說是體現了他對本職專業滿滿的熱愛。

這不，據Andrej本人透露，視頻是他在感恩節假期錄的，背景就是他的度假酒店（手動狗頭）。

做這個視頻的初衷呢，也是因為他最近在人工智能安全峰會上做了個演講，演講內容沒有錄像，但有很多觀眾都表示喜歡其內容。

于是他就干脆直接進行了一些微調，再講一遍做成視頻給更多人觀看。

那么，具體都有些啥——

咱們一一給大伙呈上。

Part 1: 大模型本質就是兩個文件

第一部分主要是對大模型整體概念的一些解釋。

首先，大模型是什么？

Andrej的解釋非常有趣，本質就是兩個文件：

一個是參數文件，一個是包含運行這些參數的代碼文件。

前者是組成整個神經網絡的權重，后者是用來運行這個神經網絡的代碼，可以是C或者其他任何編程語言寫的。

有了這倆文件，再來一臺筆記本，我們就不需任何互聯網連接和其他東西就可以與它（大模型）進行交流了，比如讓它寫首詩，它就開始為你生成文本。

那么接下來的問題就是：參數從哪里來？

這就引到了模型訓練。

本質上來說，大模型訓練就是對互聯網數據進行有損壓縮（大約10TB文本），需要一個巨大的GPU集群來完成。

以700億參數的羊駝2為例，就需要6000塊GPU，然后花上12天得到一個大約140GB的“壓縮文件”，整個過程耗費大約200萬美元。

而有了“壓縮文件”，模型就等于靠這些數據對世界形成了理解。

那它就可以工作了。

簡單來說，大模型的工作原理就是依靠包含壓縮數據的神經網絡對所給序列中的下一個單詞進行預測。

比如我們將“cat sat on a”輸入進去后，可以想象是分散在整個網絡中的十億、上百億參數依靠神經元相互連接，順著這種連接就找到了下一個連接的詞，然后給出概率，比如“mat（97%）”，就形成了“貓坐在墊子上（cat sat on a mat）”的完整句子（神經網絡的每一部分具體如何工作目前還不清楚）。

需要注意的是，由于前面提到訓練是一種有損壓縮，神經網絡給出的東西是不能保證100%準確的。

Andrej管大模型推理為“做夢”，它有時可能只是簡單模仿它學到的內容，然后給出一個大方向看起來對的東西。

這其實就是幻覺。所以大家一定要小心它給出的答案，尤其是數學和代碼相關的輸出。

接下來，由于我們需要大模型成為一個真正有用的助手，就需要進行第二遍訓練，也就是微調。

微調強調質量大于數量，不再需要一開始用到的TB級單位數據，而是靠人工精心挑選和標記的對話來投喂。

不過在此，Andrej認為，微調不能解決大模型的幻覺問題。

本節最后，是Andrej總結的“如何訓練你自己的ChatGPT”流程：
第一步稱為預訓練，你要做的是：

1、下載10TB互聯網文本；
2、搞來6000塊GPU；
3、將文本壓縮到神經網絡中，付費200萬美元，等待約12天；
4、獲得基礎模型。

第二步是微調：

1、撰寫標注說明；
2、雇人（或用scale.ai），收集10萬份高質量對話或其他內容；
3、在這些數據上微調，等待約1天；
4、得到一個可以充當得力助手的模型；
5、進行大量評估。
6、部署。
7、監控并收集模型的不當輸出，回到步驟1再來一遍。

其中預訓練基本是每年進行一次，而微調可以周為頻率進行。

以上內容都可以說是非常小白友好。

Part 2: 大模型將成為新“操作系統”

在這一部分中，Karpathy為我們介紹了大模型的幾個發展趨勢。

首先是學會使用工具——實際上這也是人類智能的一種表現。

Karpathy以ChatGPT幾個功能進行了舉例，比如通過聯網搜索，他讓ChatGPT收集了一些數據。

這里聯網本身就是一次工具調用，而接下來還要對這些數據進行處理。

這就難免會涉及到計算，而這是大模型所不擅長的，但通過（代碼解釋器）調用計算器，就繞開了大模型的這個不足。

在此基礎上，ChatGPT還可以把這些數據繪制成圖像并進行擬合，添加趨勢線以及預測未來的數值。

利用這些工具和自身的語言能力，ChatGPT已經成為了強大的綜合性助手，而DALL·E的集成又讓它的能力再上一個臺階。

另一項趨勢，是從單純的文本模型到多模態的演變。

現在ChatGPT不只會處理文本，還會看、聽、說，比如OpenAI總裁Brockman曾經展示了GPT-4利用一個鉛筆勾勒的草圖生成了一個網站的過程。

而在APP端，ChatGPT已經可以流暢地和人類進行語音對話。

除了功能上的演進，大模型在思考方式上也要做出改變——從“系統1”到“系統2”的改變。

這是2002年諾貝爾經濟學獎得主丹尼爾·卡尼曼的暢銷書《思考，快與慢》中提到的一組心理學概念。

簡單來說，系統1是快速產生的直覺，而系統2則是緩慢進行的理性思考。

比如，當被問及2+2是幾的時候，我們會脫口而出是4，其實這種情況下我們很少真正地去“算”，而是靠直覺，也就是系統1給出答案。

但如果要問17×24是多少，恐怕就要真的算一下了，這時發揮主導作用的就變成了系統2。

而目前的大模型處理文本采用的都是系統1，靠的是對輸入序列中每個詞的“直覺”，按順序采樣并預測下一個token。

另一個發展的關鍵點是模型的自我提升。

以DeepMind開發的AlphaGo為例（雖然它不是LLM），它主要有兩個階段，第一階段是模仿人類玩家，但靠著這種方式無法超越人類。

但第二階段，AlphaGo不再以人類作為學習目標——目的是為了贏得比賽而不是更像人類。

所以研究人員設置了獎勵函數，告訴AlphaGo它的表現如何，剩下的就靠它自己體會，而最終AlphaGo戰勝了人類。

而對于大模型的發展，這也是值得借鑒的路徑，但目前的難點在于，針對“第二階段”，還缺乏完善的評估標準或獎勵函數。

此外，大模型正朝著定制化的方向發展，允許用戶將它們定制，用于以特定“身份”完成特定的任務。

此次OpenAI推出的GPTs就是大模型定制化的代表性產品。

而在Karpathy看來，大模型在將來會成為一種新型的操作系統。

類比傳統的操作系統，在“大模型系統”中，LLM作為核心，就像CPU一樣，其中包括了管理其他“軟硬件”工具的接口。

而內存、硬盤等模塊，則分別對應大模型的窗口、嵌入。

代碼解釋器、多模態、瀏覽器則是運行在這個系統上的應用程序，由大模型進行統籌調用，從而解決用戶提出的需求。

Part 3: 大模型安全像“貓鼠游戲”

演講的最后一部分，Karpathy談論了大模型的安全問題。

他介紹了一些典型的越獄方式，盡管這些方式現在已經基本失效，但Karpathy認為，大模型的安全措施與越獄攻擊之間的較量，就像是一場貓鼠游戲。

比如一種最經典的越獄方式，利用大模型的“奶奶漏洞”，就能讓模型回答本來拒絕作答的問題。

例如，假如直接問大模型凝固汽油彈怎么制作，但凡是完善的模型都會拒絕回答。

但是，如果我們捏造出一個“已經去世的奶奶”，并賦予“化學工程師”的人設，告訴大模型這個“奶奶”在小時候念凝固汽油彈的配方來哄人入睡，接著讓大模型來扮演……

這時，凝固汽油彈的配方就會脫口而出，盡管這個設定在人類看來十分荒謬。

比這更復雜一些的，還有Base64編碼等“亂碼”進行攻擊。

這里“亂碼”只是相對人類而言，對機器來說卻是一段文本或指令。

比如Base64編碼就是將二進制的原始信息通過一定方式轉換為字母和數字組成的長字符串，可以編碼文本、圖像，甚至是文件。

在詢問Claude如何破壞交通標志時，Claude回答不能這樣做，而如果換成Base64編碼，過程就呼之欲出了。

另一種“亂碼”叫做通用可轉移后綴，有了它，GPT直接就把毀滅人類的步驟吐了出來，攔都攔不住。

而進入多模態時代，圖片也變成了讓大模型越獄的工具。

比如下面這張熊貓的圖片，在我們看來再普通不過，但其中添加的噪聲信息卻包含了有害提示詞，并且有相當大概率會使模型越獄，產生有害內容。

此外，還有利用GPT的聯網功能，造出包含注入信息的網頁來迷惑GPT，或者用谷歌文檔來誘騙Bard等等。

目前這些攻擊方式已經陸續被修復，但只是揭開了大模型越獄方法的冰山一角，這場“貓鼠游戲”還將持續進行。

完整視頻：https://www.youtube.com/watch?v=zjkBMFhNj_g