AI 大牛 Andrej Karpathy 又「上新」了，這次一口氣放出了長達四個小時的視頻。

視頻主題為「讓我們來復現 GPT-2（1.24 億參數）」。

Karpathy 表示，此次視頻之所以這么長，是因為它很全面：從空文件開始，最后得到一個 GPT-2（124M）模型。

具體實現步驟包括如下：

• 首先構建 GPT-2 網絡。
• 然后對其進行優化，以便快速訓練。
• 然后通過參考 GPT-2 和 GPT-3 論文來設置訓練運行優化和超參數。
• 然后進行模型評估。
• 然后祈禱好運，并去睡覺。
• 第二天早上，查看結果并享受有趣的模型生成。通宵運行的結果甚至非常接近 GPT-3（124M）模型。

該視頻以「Zero To Hero」系列視頻為基礎，有些地方參考了以往視頻。你可以根據該視頻構建 nanoGPT 存儲庫，到最后大約有 90% 相似。

當然，Karpathy 上傳了相關的 GitHub 存儲庫「build-nanogpt」，包含了全部提交歷史，這樣你可以一步步看到視頻中所有的代碼變化。

 GitHub 地址：https://github.com/karpathy/build-nanogpt

AI 獨角獸 Scale AI CEO Alexandr Wang 表示，Karpathy 發布視頻就像是流行歌手發布新單曲一樣。

甚至還有人將 Karpathy 的推特內容通過文生音樂模型 Suno 轉換為了一首 Rap，簡直了。

圖源：https://x.com/peterxing/status/1799960277288677478

視頻概覽

該視頻分為了四大部分：建立網絡（很多是以往教程回顧）、加快訓練速度、設置運行和結果。

視頻第一部分內容（帶時間戳）具體如下：

• 00:13:47 第 1 部分：實現 GPT-2 nn.Module
• 00:28:08 加載 huggingface/GPT-2 參數
• 00:31:00 實現前向傳遞以獲取 logits 
• 00:33:31 采樣初始化、前綴 token、tokenization
• 00:37:02 采樣循環
• 00:41:47 采樣、自動檢測設備
• 00:45:50 讓我們訓練：數據批次 (B,T) → logits (B,T,C)
• 00:52:53 交叉熵損失
• 00:56:42 優化循環：過度擬合單個批次

視頻第二部分內容（帶時間戳）具體如下：

• 01:22:18 第 2 部分：讓我們加快速度。GPU、混合精度、1000 毫秒 
• 01:28:14 Tensor Cores、代碼計時、TF32 精度、333 毫秒 
• 01:39:38 float16、梯度縮放器、bfloat16、300 毫秒 
• 01:48:15 torch.compile、Python 開銷、內核融合、130 毫秒 
• 02:00:18 flash attention 技術、96 毫秒 
• 02:06:54 nice/ugly 數。詞匯量 50257 → 50304，93 毫秒

視頻第三部分內容（帶時間戳）具體如下：

• 02:14:55 第 3 部分：超參數、AdamW、梯度裁剪
• 02:21:06 學習率調度器：預熱 + 余弦衰減
• 02:26:21 批大小調度、權重衰減、FusedAdamW、90 毫秒
• 02:34:09 梯度累積
• 02:46:52 分布式數據并行 (DDP)
• 03:10:21 GPT-2、GPT-3、FineWeb (EDU) 中使用的數據集
• 03:23:10 驗證數據拆分、驗證損失、采樣恢復
• 03:28:23 評估：HellaSwag，開始運行

視頻第四部分內容（帶時間戳）具體如下：

• 03:43:05 第 4 部分：早上出結果！GPT-2、GPT-3 復現成功
• 03:56:21 向 llm.c 致敬，原始 C/CUDA 中等效但速度更快的代碼

03:59:39 總結，并上傳「build-nanogpt github」存儲庫

完整視頻參見如下：https://www.youtube.com/watch?v=l8pRSuU81PU&feature=youtu.be