隨著機器學習實驗變得越來越復雜，它們的碳足跡正在膨脹。現在，研究人員已經計算了在不同地點的云計算數據中心訓練一系列模型的碳成本1。他們的發現可以幫助研究人員減少依賴人工智能 (AI) 的工作所產生的排放。

研究小組發現，不同地理位置的排放存在顯著差異。華盛頓西雅圖艾倫人工智能研究所(Allen Institute For AI)機器學習研究員、該研究的共同負責人杰西·道奇(Jesse Dodge)表示，在同樣的人工智能實驗中，“效率最高的地區產生的排放約為效率最低的地區的三分之一”。

賓夕法尼亞州匹茲堡卡內基梅隆大學的機器學習研究員、氣候變化 AI 組織的聯合創始人 Priya Donti 表示，到目前為止，還沒有任何好的工具可以測量基于云的人工智能產生的排放量。

“這是偉大的工作，有助于就如何管理機器學習工作負載以減少排放進行重要對話，”她說。

位置很重要

Dodge 和他的合作者(包括來自微軟的研究人員)在訓練 11 種常見 AI 模型的同時監控電力消耗，從支持谷歌翻譯的語言模型到自動標記圖像的視覺算法。他們將這些數據與為 16 臺 Microsoft Azure 云計算服務器供電的電網排放量如何隨時間變化的估計值結合在一起，以計算一系列地點的訓練能耗。

由于全球電源的變化以及需求的波動，不同地點的設施具有不同的碳足跡。該團隊發現，在美國中部或德國的數據中心訓練 BERT(一種常見的機器學習語言模型)會排放 22-28 公斤的二氧化碳，具體取決于一年中的時間。這是在挪威進行相同實驗產生的排放量的兩倍多，挪威的大部分電力來自水力發電，而法國主要依賴核能。

每天進行實驗的時間也很重要。例如，道奇說，在華盛頓的夜間訓練人工智能，當該州的電力來自水力發電時，比在白天訓練人工智能的排放量更低，因為白天的電力也來自燃氣站。他上個月在首爾舉行的公平、問責和透明計算機器協會會議上展示了這一結果。

人工智能模型的排放量也有很大差異。圖像分類器 DenseNet 產生了與給手機充電相同的 CO 2排放量，同時訓練了一種稱為 Transformer 的中型語言模型(它比研究公司 OpenAI 制造的流行語言模型 GPT-3 小得多)在加利福尼亞州舊金山產生的排放量與典型的美國家庭一年產生的排放量大致相同。此外，該團隊只進行了 Transformer訓練過程的 13%;道奇說，完全訓練它會產生“相當于燃燒一整輛裝滿煤的軌道車的數量級”的排放量。

他補充說，排放數據也被低估了，因為它們不包括諸如用于數據中心開銷的電力或用于創建必要硬件的排放等因素。Donti 說，理想情況下，這些數字還應包括誤差線，以說明給定時間電網排放的重大潛在不確定性。

更環保的選擇

在其他因素相同的情況下，道奇希望這項研究可以幫助科學家選擇用于實驗的數據中心，以最大限度地減少排放。他說，“事實證明，這個決定是該學科中人們可以做的最有影響力的事情之一”。由于這項工作，微軟現在正在向使用其 Azure 服務的研究人員提供有關其硬件電力消耗的信息。

英國布里斯托大學研究數字技術對環境可持續性影響的克里斯·普雷斯特(Chris Preist)表示，減少排放的責任應該由云提供商而不是研究人員承擔。他說，供應商可以確保在任何時候，碳強度最低的數據中心使用最多。Donti 補充說，他們還可以采用靈活的策略，允許機器學習運行在減少排放的時候啟動和停止。

道奇表示，進行最大規模實驗的科技公司應該對排放的透明度以及盡量減少或抵消排放承擔最大的責任。他指出，機器學習并不總是對環境有害。它可以幫助設計高效材料、模擬氣候以及追蹤森林砍伐和瀕危物種。盡管如此，人工智能日益增長的碳足跡正成為一些科學家關注的主要原因。道奇說，盡管一些研究小組正在致力于追蹤碳排放量，但透明度“尚未發展成為社區規范”。

“這項工作的重點是試圖讓這個主題變得透明，因為現在嚴重缺失，”他說。

參考文獻：

1.Dodge, J. et al. Preprint at https://arxiv.org/abs/2206.05229 (2022)。