近年來，人工智能模型的能力顯著提高。其中，計算資源的增長占了人工智能性能提升的很大一部分。規?；瘞淼某掷m且可預測的提升促使人工智能實驗室積極擴大訓練規模，訓練計算以每年約 4 倍的速度增長。

從這個角度來看，人工智能訓練計算的增長速度甚至超過了近代史上一些最快的技術擴張。它超過了移動電話采用率（1980-1987 年，每年 2 倍）、太陽能裝機容量（2001-2010 年，每年 1.5 倍）和人類基因組測序（2008-2015 年，每年 3.3 倍）的峰值增長率。

在最近的一份報告中，Epoch AI 研究了當前人工智能訓練規模的快速增長（約每年 4 倍）在 2030 年之前是否始終在技術上可行。

報告提到了可能制約擴展的四個關鍵因素：電源可用性、芯片制造能力、數據稀缺性和「延遲墻」（人工智能訓練計算中不可避免的延遲所造成的基本速度限制）。

報告中的分析包括生產能力的擴張、投資和技術進步。除其他因素外，這包括審查先進芯片封裝設施的計劃增長、額外發電廠的建設以及數據中心利用多個電力網絡的地理分布。為了考慮這些變化，報告納入了各種公開來源的預測：半導體代工廠的擴張計劃、電力供應商的產能增長預測、其他相關行業數據以及自己的一些研究。

他們發現，到本個十年末，2e29 FLOP 的訓練運行或許是可行的。換句話說，到 2030 年，我們將很有可能訓練出規模超過 GPT-4 的模型，與 GPT-4 在規模上超過 GPT-2 的程度相同。如果繼續努力，到本個十年末，我們可能會看到人工智能的巨大進步，就像 2019 年 GPT-2 的簡陋文本生成與 2023 年 GPT-4 的復雜問題解決能力之間的差異一樣。

當然，人工智能開發者是否真的會追求這種水平的擴展，取決于他們是否愿意在未來幾年投資數千億美元用于人工智能的擴展。但這不是報告討論的重點。

在整個分析過程中，報告假定訓練運行可持續 2 到 9 個月，這反映了持續時間越來越長的趨勢。報告還假設，在為分布式訓練和芯片分配人工智能數據中心電力時，公司只能獲得現有供應量的 10% 到 40% 左右。

制約擴展的四個關鍵因素

電力限制

人們已經討論過，到 2030 年數據中心園區達到 1 至 5 GW 的計劃，這將支持 1e28 至 3e29 FLOP 的訓練運行（作為參考，GPT-4 可能在 2e25 FLOP 左右）。地域分布式訓練可以利用多個地區的能源基礎設施，進一步擴大規模。根據目前美國數據中心擴張的預測，美國的分布式網絡可能容納 2 到 45 GW，假設數據中心之間有足夠的帶寬，則可支持 2e28 到 2e30 FLOP 的訓練運行。除此之外，如果提前 3 到 5 年進行規劃，愿意支付新發電站成本的參與者可以獲得更多電力。

數據中心電力容量的快速擴張潛力巨大，這一點已被多種資料來源和預測所證實。SemiAnalysis 提供的歷史數據顯示，2019 年至 2023 年期間，數據中心容量的年增長率約為 20%（如圖 2）。2024 年和 2025 年的擴建計劃旨在加快這一速度，如果按時完成，年增長率將達到 32%。

總體而言，10-30% 的年增長率似乎是可以實現的。根據 15% 的中心增長率估算，到 2030 年，美國數據中心的容量將從 40 GW 增長到 90 GW，即增加 50 GW。注意，此處使用的是對實際增長的預測范圍，并以此為基礎估算可行的增長，因此這一數字可以說是保守的。

報告中提到，由本地電力支持的 2030 年訓練運行可能需要 1 到 5 GW，到 2030 年可達到 1e28 到 3e29 FLOP。與此同時，分布在各地的訓練運行可獲得 2 至 45 GW 的電力供應，并在數據中心對之間實現 4 至 20 Pbps 的連接，從而實現 2e28 至 2e30 FLOP 的訓練運行。上述估計背后的假設可以在下圖 3 中找到。

芯片制造能力

人工智能芯片提供了訓練大型人工智能模型所需的計算能力。目前，擴展受到先進封裝和高帶寬內存生產能力的限制。不過，考慮到制造商計劃的規模擴張以及硬件效率的提高，即使考慮到 GPU 將在多個 AI 實驗室之間分配，并且部分專用于服務模型，也可能有足夠的能力讓 1 億個 H100 等效 GPU 專用于訓練，為 9e29 FLOP 的訓練運行提供動力。然而，這一預測具有很大的不確定性，估計值從 2000 萬到 4 億個 H100 等效處理器不等，相當于 1e29 到 5e30 FLOP（比 GPT-4 大 5000 到 300000 倍）。

報告中假設了一種情況，即從現在到 2030 年，臺積電 5 納米及以下的全部產能都用于 GPU 生產。在這種情況下，潛在計算量可能會增加一個數量級，達到 1e30 到 2e31 FLOP。這一上限基于當前的晶圓產量預測，說明了如果完全解決封裝、HBM 生產和晶圓分配方面的現有限制，對人工智能訓練能力可能產生的最大影響。圖 4 展示了這些估計值，并列出了其背后的假設。

數據短缺

訓練大型人工智能模型需要相應的大型數據集。索引網絡包含約 500T 的獨特文本，預計到 2030 年將增加 50%。從圖像、視頻和音頻數據中進行多模態學習可能會適度促進擴展，使可用于訓練的數據增加三倍。在考慮了數據質量、可用性、多 epoch 和多模態 tokenizer 效率等不確定因素后，估計到 2030 年可用于訓練的 token 相當于 400 萬億到 20 億億個，允許 6e28 到 2e32 FLOP 的訓練運行。人工智能模型生成的合成數據可能會大幅提高這一比例。

據估計，索引網絡上的文本數據量為 20 億億個 token (Villalobos et al, 2024)。同時，互聯網上圖片和視頻秒數的估計值為 40 萬億。如果也使用每張圖片或每秒視頻 100 個 token 的高端估計值，這意味著有四億億個視覺 token，或六億億個文本和視覺 token。如果還假設到 2030 年這些數據量翻一番，80% 的數據因質量過濾而被刪除（FineWeb 丟棄了約 85% 的 token），模型在這些數據上訓練 10 個 epoch，那么有效數據集的規模將達到約 20 億億個 token。有關這些參數的完整列表以及報告選擇這些值范圍的理由，如圖 5 所示。

延遲墻

延遲墻是一種 「速度限制」，源于向前和向后傳遞所需的最短時間。隨著模型規模的擴大，它們需要更多的順序操作來訓練。增加并行處理的訓練 token 數量（即「批大小」）可以攤銷這些延遲，但這種方法也有局限性。超過「臨界批大小」后，批大小的進一步增加會導致訓練效率的回報遞減，訓練更大的模型需要連續處理更多的批。這就為特定時間范圍內的訓練 FLOP 設定了上限。報告估計，現代 GPU 設置上的累積延遲將使訓練運行的 FLOP 上限達到 3e30 到 1e32。要超越這一規模，需要采用其他網絡拓撲結構、減少通信延遲，或者采用比目前更積極的批規模擴展。

OpenAI 之前的研究將臨界批大?。ㄔ谶@個點之后，訓練的收益會大幅遞減）與梯度相對于訓練數據的分散程度聯系了起來。在此基礎上，Erdil 和 Schneider-Joseph（即將發表）推測，批大小可能與可還原模型損失的倒數成比例，根據 Chinchilla 的說法，可還原模型損失的比例大致為模型參數數量的立方根。如果這種情況成立，它將把延遲墻推回一個數量級，參見下圖。

什么限制因素影響最深？

上文講到了人工智能擴展的四個主要瓶頸。如果將它們放在一起考慮，則意味著到本個十年末，訓練運行高達 2e29 FLOP 是可行的。這將代表著相對于當前模型的大約 10000 倍的擴展，并意味著擴展的歷史趨勢可以不間斷地持續到 2030 年（圖 7）。深色陰影框對應四分位數范圍，淺色陰影區域對應 80% 置信區間。

最具約束力的限制因素是電力和芯片的可用性。其中，電力的可塑性可能更大，能源行業的集中度較低，而且有擴大 100 GW 電力供應的先例，如果提前三到五年計劃，供應商應該能夠執行。

擴大芯片制造面臨多重挑戰：先進封裝等關鍵工藝大多已分配給數據中心的 GPU，而建設新的晶圓廠需要大量資本投資和高度專業化的勞動力。

數據是最不確定的瓶頸，其不確定性范圍跨越四個數量級。多模態數據對提高推理能力的作用可能有限，而且我們對此類數據的可用存量、質量以及當前 token 化方法效率的估計都不如對文本數據的估計那么確定。最終，合成數據可以實現無限擴展，但計算成本較高。

最后，雖然延遲墻是一個遙遠的制約因素，但它作為一個需要克服的障礙，已經出現在地平線上。通過采用更復雜的網絡拓撲結構，包括更大的 pod 或 pod 之間更多的連接，可能會將延遲墻推倒。

AI實驗室們會擴展到這個程度嗎？

迄今為止，人工智能模型規模的不斷擴大一直帶來能力的提升。這為人工智能的發展灌輸了一種以規模為中心的觀點，導致用于訓練運行的支出以每年約 2.5 倍的速度增長。早期跡象表明，這種情況可能會繼續下去。

值得注意的是，據報道，微軟和 OpenAI 正在為一個名為 Stargate（星際之門）的數據中心項目制定計劃，該項目耗資可能高達 1000 億美元，將于 2028 年啟動。這表明，大型科技公司確實正在準備實現本文所述的巨大規模。

將 GPT-4 升級到與 GPT-6 相當的模型，再加上算法的大幅改進和后期訓練的改進，可以進一步證明人工智能系統具有足夠大的經濟回報潛力。這些證據可能表現為：GPT-5 等較新的模型在發布的第一年內就創造了超過 200 億美元的收入；人工智能功能的顯著進步，使模型能夠無縫集成到現有的工作流程中，操作瀏覽器窗口或虛擬機，并在后臺獨立運行。

人工智能能夠自動完成相當一部分經濟任務，其潛在回報是巨大的。一個經濟體投資數萬億美元建立與計算相關的資本儲備，包括數據中心、半導體制造工廠和光刻機，是有可能實現的。要了解這一潛在投資的規模，需要考慮全球每年的勞動報酬約為 6000 萬美元。即使不考慮人工智能自動化帶來的經濟加速增長，如果開發能夠有效替代人類勞動力的人工智能變得可行，那么投資數萬億美元來獲取這 6000 萬美元中的一小部分，在經濟上也是合理的。

據標準經濟模型預測，如果人工智能自動化達到取代大部分或全部人類勞動力的程度，經濟增長可能會加快十倍或更多。在短短幾十年內，這種加速增長可使經濟產出增加幾個數量級?？紤]到這一潛力，提前實現完全或接近完全自動化的價值可能占全球產出的很大一部分。認識到這一巨大價值，投資者可能會將傳統行業的大部分資金轉投人工智能開發及其重要基礎設施（能源生產和分配、半導體制造工廠、數據中心）。這種前所未有的經濟增長潛力可能會推動數萬億美元的人工智能開發投資 104。

更多報告觀點，可參考原文。