算力、數據和算法是引導現代機器學習（ML）進步的三個基本因素。

人工智能技術近年來的發展不僅仰仗于大數據和算法，更是算力不斷增強的結果。據了解從 2012 年到 2018 年，用于訓練大型模型的計算能力已增長了 30 萬倍，并且約每三個半月翻一番。

人工神經網絡在上世紀 80 年代就被提出，但由于算力的限制經歷數年寒冬。不過由于技術的發展，這一限制得到突破，GPU、CPU 和 AI 加速芯片不斷被推出。

隨著深度學習的出現，算力需求呈現指數級增長。2018 年 Bert 橫空出世，谷歌、微軟、英偉達等巨頭紛紛推出自己的大模型，將其視為下一個 AI 領域的必爭的高地，例如谷歌發布首個萬億級模型 Switch Transformer、英偉達與微軟聯合發布了 5300 億參數的 MT-NLG……

大模型伴隨而來的是大算力，我們不禁會問，深度學習時代以來ML算力需求增加了多少？未來，隨著模型的擴展，算力還能跟得上嗎？

近日來自阿伯丁大學、MIT 等機構的研究者對 ML 三要素中的算力需求進行了研究。他們發現，在 2010 年之前訓練所需的算力增長符合摩爾定律，大約每 20 個月翻一番。自 2010 年代初深度學習問世以來，訓練所需的算力快速增長，大約每 6 個月翻一番。2015 年末，隨著大規模 ML 模型的出現，訓練算力的需求提高了 10 到 100 倍，出現了一種新的趨勢。

• 論文地址：https://arxiv.org/pdf/2202.05924.pdf
• GitHub 地址：https://github.com/ML-Progress/Compute-Trends

基于上述發現，研究者將 ML 所需算力歷史分為三個階段：前深度學習時代；深度學習時代；大規模時代。總的來說，該論文詳細研究了里程碑式 ML 模型隨時間變化的算力需求。

本文貢獻如下：

• 收集了 123 個具有里程碑意義的 ML 系統數據集，并對算力進行了注釋；
• 初步將算力趨勢劃分為三個不同的階段；
• 對算力結果進行檢查，討論了與以前工作的不同之處。

論文作者之一 Lennart Heim 表示：在過去的 12 年里（2010-2022 年），ML 訓練算力增長了 100 億倍。

以往工作

此前就有關于算力的研究，2018 年 Amodei 、Hernandez 介紹了兩種評估算力的方法，他們基于 15 個 ML 系統分析了所需算力趨勢。他們發現，從 2012 年到 2018 年，ML 訓練所需算力 3.4 個月翻一番。

2019 年 Sastry 等人添加了 2012 年以前的 10 篇論文補充了上述分析。他們發現從 1959 年到 2012 年，大約 2 年時間，訓練所需算力翻一番。

2021 年 Lyzhov 擴展了 Amodei 和 Hernandez 的數據集，他認為在 2018 年之后算力增長停滯。特別是，作者發現 2020 年計算最密集的模型（GPT-3）只需要比 2017 年計算最密集的模型（AlphaGo Zero）多 1.5 倍的計算量。

下圖很好的總結了上述研究：2012-2018 年，大約 3.4 個月算力翻一番（Amodei 、Hernandez 研究）；1959-2018 年，大約需要 2 年算力翻一番（Sastry 等人）；2018-2020 年，需要超過 2 年算力翻一番（Lyzhov 研究）。

在類似的研究中，2021 年 Sevilla 等人調查了可訓練參數數量趨勢。他們發現，從 2000 年到 2021 年，所有應用領域的參數倍增時間為 18 到 24 個月。對于語言模型，他們發現在 2016 年到 2018 年之間發生了不連續性，其中參數的倍增時間加快到 4 到 8 個月。

此外，2021 年 Desislavov 等人研究了計算機視覺和自然語言處理系統中所需推理算力。但該研究與之前的工作相比，數據集更加全面，該研究數據集包含的 ML 模型比以前的數據多三倍，并且包含了 2022 年的最新數據。

趨勢解讀

研究者根據三個不同的時代和三種不同的趨勢來解讀他們整理的數據。簡單來說，在深度學習起飛前，有一個緩慢增長的時代。大約在 2010 年，這一趨勢加速并且此后一直沒有放緩。另外，2015 至 2016 年大規模模型出現了一個新趨勢，即增長速度相似，但超越以往兩個數量級（orders of magnitude, OOM）。具體可見下圖 1 和表 2。

圖 1：1952 年以來，里程碑式 ML 系統隨時間推移的訓練算力（FLOPs）變化。

表 2：不同階段的趨勢。

研究者首先討論了 2010 至 2012 年左右向深度學習的過渡，然后是 2015 至 2016 年左右大規模模型的出現。他們執行了一些替代性分析以從其他角度檢查自己的結論。

此外，研究者在附錄 B 中討論了創紀錄模式的趨勢，在附錄 C 中談論了不同 ML 領域的趨勢。

向深度學習的過渡

與 Amodei & Hernandez (2018) 的結果一致，研究者發現深度學習出現前后的兩種截然不同的趨勢機制。深度學習出現之前，訓練 ML 系統需要的算力每 17 至 29 個月翻一番。深度學習出現之后，整體趨勢加速，算力每 4 至 9 個月翻一番。深度學習之前的趨勢大致符合摩爾定律，根據該定律，集成電路上可以容納的晶體管數量大約每隔 18 至 24 個月翻一番，通常簡化為每兩年翻一番。

目前不清楚深度學習時代何時開始的，從前（Pre-）深度學習到深度學習時代的過渡中沒有出現明顯的間斷。

此外，如果將深度學習時代的開始定為 2010 或 2012 年，研究者的結果幾乎沒有變化，具體如下表 3 所示。

圖 2：1952 至 2022 年期間，里程碑式 ML 系統的算力變化趨勢。請特別注意 2010 年左右的坡度變化。

表 3：1952 至 2022 年 ML 模型的對數線性回歸結果。

大規模時代的趨勢

數據顯示，大約 2015 至 2016 年左右，大規模模型出現了一個新趨勢，具體可見下圖 3。這一趨勢始于 2015 年底 AlphaGo 的出現并一直延續至今。期間，這些大規模模型由科技巨擘訓練，他們擁有的更多訓練預算打破了以往的趨勢。

需要注意，研究者在確定哪些系統屬于這一新的大規模趨勢時做了直觀的決定，并證明它們是相對于鄰近模型超出了某個 Z-value 閾值的模型，方法細節詳見附錄 A。附錄 F 討論了大規模模型在哪些方法截然不同。

圖 3：2010 至 2022 年里程碑式 ML 系統的算力變化趨勢。

不過，常規規模模型的趨勢依然沒有受到影響。2016 年前后趨勢是連續的，具有相同的坡度變化，每 5 至 6 個月翻一番。大規模模型算力增加趨勢顯然更慢，每 9 至 10 個月翻一番。研究者表示，由于關于這些模型的數據有限，所以明顯的減速可能是噪聲的影響。

研究者的結果與 Amodei & Hernandez (2018) 形成鮮明對比，后者發現 2012 至 2018 年算力翻一番用時更短 ——3.4 個月。結果也與 Lyzhov (2021) 的不同，他們發現 2018 至 2020 年算力翻一番用的時間更長 ——2 年以上。研究者理解了這些不一致的地方，原因在于其他人的分析使用了有限的數據樣本并假定單一趨勢，自己則是分別研究了大規模和常規規模的模型。

并且，由于大規模趨勢僅在近期出現，因而以往的分析無法區分這兩類不同的趨勢。

2010 至 2022 年數據的對數線性回歸結果。2015 年之前常規規模模型的趨勢在之后保持不變。