最近一系列大型語言模型 (LLM) 正在崛起，其中最大的語言模型已經擁有超過 5000 億個參數。這些大型自回歸 transformer 通過使用各種評估協議（例如零樣本、少樣本和微調），在許多任務中表現出令人印象深刻的性能。

然而訓練大型語言模型需要消耗巨大的計算和能源，并且這種消耗隨著模型的增加而增加。在實踐中，研究者事先分配的訓練計算預算通常是預先知道的：有多少加速器可用以及我們想要使用它們多長時間。通常這些大模型只訓練一次是可接受的，因此準確估計給定計算預算的最佳模型超參數至關重要。

Kaplan 等人研究 (2020) 表明，自回歸語言模型 (LM) 中的參數數量與其性能之間存在冪律關系。結果是該領域一直在訓練越來越大的模型，期望性能得到改善。Kaplan 等人(2020) 得出的一個值得注意的結論是，不應該將大型模型訓練到其可能的最低損失，以獲得計算的最佳化。

來自 DeepMind 的研究者得出了相同的結論，但他們估計大型模型可以訓練的 token 數應該比作者推薦的更多。具體來說，假設計算預算增加 10 倍，其他研究者建議模型的大小應該增加 5.5 倍，而訓練 token 的數量應該只增加 1.8 倍。相反，DeepMind 發現模型大小和訓練 token 的數量應該以相等的比例擴展。

論文地址：https://arxiv.org/pdf/2203.15556.pdf

繼 Kaplan 等人和 GPT-3 的訓練設置研究之后，近期大型模型的訓練 token 大約為 3000 億個（表 1），這與增加算力時，主要采用增加模型大小結論一致。

在這項工作中，DeepMind 重新審視了這個問題：給定固定的 FLOPs 預算，應該如何權衡模型大小和訓練 token 的數量？為了回答這個問題，DeepMind 將最終的預訓練損失 ??(??, ??) 建模為模型參數數量 ?? 和訓練 token 數量 ?? 的函數。由于計算預算 ?? 是所見訓練 token 和模型參數數量的確定性函數 FLOPs(??, ??)，因此可以在約束 FLOPs(??, ??) = ?? 下最小化??：

DeepMind 根據 400 多個模型的損失估計了這些函數，參數范圍從 70M 到 16B 以上，并在 5B 到 400B 多個 token 上進行訓練——每個模型配置都針對幾個不同的訓練范圍進行訓練。結果表明 DeepMind 方法得出的結果與 Kaplan 等人的結果大不相同，如下圖 1 所示：

基于 DeepMind 估計的計算最優邊界，他們預測用于訓練 Gopher 的計算預算，一個最優模型應該是模型大小比之前小 4 倍，而訓練的 token 應該是之前的 4 倍多。

為了證明這一點，DeepMind 訓練了一個更優計算的 70B 模型 Chinchilla，具有 1.4 萬億個 token。Chinchilla 不僅性能優于模型更大的 Gopher，而且其減小的模型尺寸大大降低了推理成本，并極大地促進了在較小硬件上的下游使用。大型語言模型的能源成本通過其用于推理和微調的用途來攤銷。因此，經過更優化訓練的較小模型的好處，超出了其性能改善的直接好處。

特斯拉人工智能和自動駕駛視覺總監 Andrej Karpathy 表示：Chinchilla 是一個新的語言模型（70B），它優于 Gopher (280B), GPT-3 (175B), Jurrasic-1 (178B), MT-NLG (530B) 大模型。這是關于語言模型（LM）新的擴展定律非常重要的論文。

估計最優參數 / 訓練 tokens 分配

研究者提出三種不同的方法來解答推動本項研究的問題：給定固定的 FLOPs 預算，應該如何權衡模型大小和訓練 tokens 的數量？在所有三種情況下，研究者首先訓練了一系列參數和訓練 tokens 都不同的模型，并使用得出的訓練曲線來擬合模型擴展的經驗估計器（empirical estimator）。

三種方法的預測結果類似，表明模型參數和訓練 tokens 的數量應該隨著計算量的增加而增加，比例如下表 2 所示。這與以前有關該主題的工作形成鮮明對比，值得進一步研究。

方法 1：固定模型大小，改變訓練 tokens 數量

對于第一種方法，研究者改變了固定參數模型（從 70M 到 10B 參數）的訓練步數，為每個模型訓練了 4 個不同數量的訓練序列。運行之后，他們能夠直接提取給定訓練 FLOPs 所達到的最小損失的估計值。訓練曲線如下圖 2 所示。

方法 2：IsoFLOP

在第二種方法中，研究者針對 9 種不同的訓練 FLOP（從 6 × 10^18 到 3 × 10^21 FLOPs）改變模型大小，并考慮到了每個點的最終訓練損失。與方法 1 整個訓練運行中考慮點（??, ??, ??）形成了對比，這使得直接回答以下問題：對于給定的 FLOP 預算，最優參數數量是多少？下圖 3 為 IsoFLOP 曲線。

方法 3：擬合一個參數損失函數

最后，研究者將方法 1 和 2 中實驗的所有最終損失建模為一個包含模型參數和可見 tokens 數量的參數函數。遵循經典的風險分解，他們提出了如下函數形式：

為了估計(??, ??, ??, ??, ??)，研究者使用 L-BFGS 算法來最小化預測和觀察到對數損失（log loss）之間的 Huber 損失。

他們通過從初始化網格中選擇最佳擬合來考慮可能的局部最小值。Huber 損失（?? = 10^?3）對異常值具有魯棒性，這點對于留出數據點實現良好預測性能非常重要。

此外，研究者在下圖 4（左）中展示了擬合函數的等值線，并以藍色代表閉合形式（closed-form）的高效計算邊界。

最優模型擴展

研究者發現，以上三種方法盡管使用了不同的擬合方案和不同的訓練模型，但對有關 FLOPs 的參數和 tokens 的最優擴展產生了可比較的預測。它們都表明了，隨著計算預算的增加，模型大小和訓練數據量應該以大致相同的比例增加。其中，第一種和第二種方法對最優模型大小的預測非常相似，第三種方法在更多計算預算下能夠最優地預測更小模型。

在下表 3 中，研究者展示了 FLOPs 和 tokens 的估計量，以確保給定大小的模型位于計算最優邊界上。結果表明，考慮到各自的計算預算，當前一代的大規模語言模型「過于大了」。

新模型 Chinchilla 

根據上文的分析，Gopher 模型的最優模型大小介于 40B 到 70B 參數之間。出于數據集和計算效率的考慮，研究者訓練了一個 70B 參數、1.4T tokens 的模型，稱之為 Chinchilla，并與 Gopher 和其他大規模語言模型進行了比較。注意，Chinchilla 和 Gopher 的訓練 FLOPs 相同，但模型大小和訓練 tokens 不同。

由于 Chinchilla 的參數量為 Gopher 的 1/4，因而它的內存占用和推理成本更小。

模型參數

Chinchilla 的訓練超參數及其與 Gopher 的比較如下表 4 所示。兩者使用了相同的模型架構和訓練設置，但在 head 數量、批大小等方面有所不同。

實驗結果

研究者對 Chinchilla 進行了廣泛的評估，與各種大規模語言模型在 Rae et al. (2021)提出的很多任務上展開了比較。這些任務包括語言建模（LM）、閱讀理解、問答、常識、MMLU 和 BIG-bench，具體如下表 5 所示。

語言建模任務。如下圖 5 所示，Chinchilla 在 The Pile 的所有評估子集上均顯著優于 Gopher。

多任務語言理解（MMLU）任務。大規模 MMLU 基準測試包含一系列與學科類似的考試問題。在下表 6 中，研究者展示了 Chinchilla 在 MMLU 上的平均 5-shot 性能。可以看到，盡管規模小得多，但 Chinchilla 明顯優于 Gopher，平均準確率為 67.6%，比 Gopher 提高了 7.6%。并且，Chinchilla 的準確率甚至超過了 2023 年 6 月專家預測的 63.4% 。

在圖 6 中，DeepMind 展示了按任務細分結果與 Gopher 的比較?？偟膩碚f，研究發現 Chinchilla 提高了絕大多數任務的性能。在四個任務（college_mathematics、econometrics、moral_scenarios 和 formal_logic）上，Chinchilla 的表現不如 Gopher，并且在兩個任務上的表現沒有變化。

閱讀理解。在單詞預測數據集 LAMBADA 上，Chinchilla 達到了 77.4% 的準確率，而 Gopher 和 MT-NLG 530B 的準確率分別為 74.5% 和 76.6%（見表 7）。在 RACE-h 和 RACE-m 上，Chinchilla 的性能大大優于 Gopher，兩種情況下的準確率都提高了 10% 以上。

BIG-bench。DeepMind 在 BIG-bench 任務上評估了 Chinchilla，與 MMLU 中觀察到的情況類似，Chinchilla 在多項任務上優于 Gopher。

其他更多實驗結果詳見論文。