AI預測極端天氣提速5000倍！微軟發(fā)布Aurora，借AI之眼預測全球風暴
自人類有歷史以來，就一直執(zhí)著于預測天氣，以各種方式破解「天空之語」，我們慢慢發(fā)現(xiàn)，草木、云層似乎都與天氣有關(guān)，這不僅僅是因為人類從事生產(chǎn)的需要，也是人類想要對著大風歌唱、在月光下吟詩的需要。
《冰與火之歌》中的風雨歌師，就是通過歌聲和吟唱來預測天氣和風暴，人們還會幻想擁有「改變天氣」的超能力。
后來，有了氣象專家和天氣預報，可我們始終還是不能脫離具身體驗和物理世界，但現(xiàn)在，AI讓情況起了變化。
微軟發(fā)布首個大規(guī)模大氣基礎(chǔ)模型Aurora，能夠從數(shù)據(jù)中學習并做出預測，展現(xiàn)出了驚人的準確率和效率。
變化不僅僅是一家公司帶來的，而是全球性的。
世界頂尖的數(shù)值天氣預報組織——歐洲中期天氣預報中心維護的一個極其豐富的數(shù)據(jù)集，給AI天氣預報提供了強有力的數(shù)據(jù)支撐。
在未來，或許無需物理學，一臺計算機就可以捕捉全球的「風云變幻」。
影響不止于此，如果我們已經(jīng)可以用AI預測全球天氣，「建?！沟厍蜻€會遠嗎？
微軟發(fā)布首個大規(guī)模大氣基礎(chǔ)模型
全球極端天氣事件頻發(fā)，在突如其來的風暴面前，人類顯得尤為渺小。
總是讓人措手不及的極端天氣，暴露了當前天氣預報模型的局限性，并凸顯了在氣候變化面前進行更準確預報的必要性。
一個緊迫的問題出現(xiàn)了：我們?nèi)绾尾拍芨玫仡A測此類極端天氣事件并做好準備？
Charlton Perez等人最近的一項研究強調(diào)，即使是最先進的人工智能天氣預測模型，在捕捉風暴的快速增強和峰值風速方面也面臨挑戰(zhàn)。
為了幫助應(yīng)對這些挑戰(zhàn)，微軟的一個研究團隊開發(fā)了Aurora，Aurora意為「極光」，這是一個尖端的人工智能基礎(chǔ)模型，可以從大量的大氣數(shù)據(jù)中提取有價值的見解。
圖片
論文地址：https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/
Aurora提供了一種新的天氣預報方法，可以改變我們預測和減輕極端事件影響的能力。
靈活的3D大氣基礎(chǔ)模型
圖片
在預訓練時，Aurora會進行優(yōu)化，以便在具有不同分辨率、變量和壓力水平的多個異構(gòu)數(shù)據(jù)集上最大限度地減少損失。分兩個階段對模型進行微調(diào)：(1) 短時間內(nèi)對預訓練的權(quán)重進行微調(diào)；(2) 使用低秩自適應(yīng)性（LoRA）進行長前置時間（rollout）微調(diào)。微調(diào)后的模型將用于處理不同分辨率的各種業(yè)務(wù)預報情況
雖然參數(shù)量只有1.3B，但Aurora在超過一百萬小時的各種天氣和氣候模擬中進行了訓練，這使它能夠全面了解大氣動力學。
因此，即使在數(shù)據(jù)稀缺地區(qū)或極端天氣情況下，該模型也能出色地完成各種預測任務(wù)。
通過在0.1°（赤道約 11 公里）的高空間分辨率下運行，Aurora能夠捕捉大氣過程的復雜細節(jié)，提供比以往任何時候都更加準確的業(yè)務(wù)預報，而計算成本僅為傳統(tǒng)數(shù)值天氣預報系統(tǒng)的一小部分。
據(jù)研究人員估計，與數(shù)值預報系統(tǒng)界的SOTA——綜合預報系統(tǒng)（Integrated Forecasting System，IFS）相比，Aurora的計算速度提高了約5000倍。
除了令人驚嘆的準確性和效率之外，Aurora還以其多功能性而脫穎而出。
該模型可以預測廣泛的大氣變量，從溫度、風速到空氣污染水平和溫室氣體濃度。
Aurora的架構(gòu)設(shè)計可處理異構(gòu)黃金標準輸入，并生成不同分辨率和保真度級別的預測。
該模型由一個靈活的3D Swin Transformer和基于Perceiver的編碼器和解碼器組成，能夠處理和預測一系列跨空間和壓力級別的大氣變量。
通過對大量不同數(shù)據(jù)的預訓練和對特定任務(wù)的微調(diào)，Aurora學會了捕捉大氣中錯綜復雜的模式和結(jié)構(gòu)，使其在針對特定任務(wù)進行微調(diào)時，即使訓練數(shù)據(jù)有限也能表現(xiàn)出色。
快速預測大氣化學和空氣污染
圖片
Aurora在許多目標上都優(yōu)于運行中的CAMS：(a) 與CAMS分析相比，Aurora預測的二氧化氮柱總量樣本；(b) Aurora相對于CAMS 的緯度加權(quán)均方根誤差（RMSE），負值（藍色）表示 Aurora 更好
由于大氣化學、天氣模式和人類活動之間復雜的相互作用，以及哥白尼大氣監(jiān)測服務(wù)（CAMS）數(shù)據(jù)的高度異構(gòu)性，這是一項眾所周知的艱巨任務(wù)。
Aurora利用其靈活的編碼器-解碼器架構(gòu)和關(guān)注機制，有效地處理和學習這些具有挑戰(zhàn)性的數(shù)據(jù)，捕捉空氣污染物的獨特特征及其與氣象變量的關(guān)系。
這使得Aurora能夠以0.4°的空間分辨率生成精確的五天全球空氣污染預報，在74%的所有目標上都優(yōu)于最先進的大氣化學模擬，證明了它在解決各種環(huán)境預報問題方面的卓越適應(yīng)性和潛力，即使在數(shù)據(jù)稀少或高度復雜的情況下也是如此。
數(shù)據(jù)多樣性和模型縮放改善了大氣預報
研究還發(fā)現(xiàn)，與在單一數(shù)據(jù)集上進行的訓練相比，在不同數(shù)據(jù)集上進行的預訓練能顯著提高Aurora的性能。
通過整合氣候模擬、再分析產(chǎn)品和業(yè)務(wù)預測的數(shù)據(jù)，Aurora可以學習到更強大、更通用的大氣動力學表征。
正是由于其規(guī)模和多樣化的預訓練數(shù)據(jù)集，Aurora能夠在各種任務(wù)和分辨率下超越最先進的數(shù)值天氣預報模型和專門的深度學習方法。
圖片
圖片
圖片
在不同數(shù)據(jù)上進行預訓練并擴大模型規(guī)模可提高性能，模型大小每增加一倍，訓練損失就會減少5%
Aurora規(guī)?；苯訋淼氖?，無論是在架構(gòu)設(shè)計和訓練數(shù)據(jù)語料庫，還是預訓練和微調(diào)協(xié)議方面，其性能都優(yōu)于最好的專業(yè)深度學習模型。
為了進一步驗證在多個數(shù)據(jù)集上預訓練大型模型進行微調(diào)的收益，微軟團隊將Aurora與GraphCast進行了比較，后者僅在ERA5上進行了預訓練，目前被認為是分辨率為0.25度、預測時間長達五天的最熟練的人工智能模型。
此外，研究人員還將IFS HRES（數(shù)值天氣預報的黃金標準）也納入了比較范圍。
結(jié)果表明，在與分析、氣象站觀測和極端值進行比較時，Aurora 的表現(xiàn)都要優(yōu)于GraphCast和IFS HRES。
圖片
圖片
圖片
在絕大多數(shù)目標上，Aurora的性能都優(yōu)于GraphCast
地球系統(tǒng)建模的范式轉(zhuǎn)變
Aurora的影響遠遠超出了大氣預報。
通過展示基礎(chǔ)模型在地球科學中的力量，這項研究為開發(fā)涵蓋整個地球系統(tǒng)的綜合模型鋪平了道路。
基礎(chǔ)模型能夠在數(shù)據(jù)稀缺的情況下出色地完成下游任務(wù)，這將使數(shù)據(jù)稀缺地區(qū)（如發(fā)展中國家和極地地區(qū)）獲取準確天氣和氣候信息的途徑更加民主化。
這將對農(nóng)業(yè)、交通、能源采集和備災等部門產(chǎn)生深遠影響，使社區(qū)能夠更好地適應(yīng)氣候變化帶來的挑戰(zhàn)。
無需物理學？AI天氣預報進展巨大
變化來得太快，就像龍卷風，天氣預報界正在經(jīng)歷重大變革。
最終的目標是革命性的：運用基于AI的新方法，在桌面計算機上就可以運行天氣預報！
在過去的18個月里，天氣預報成為了一個最有前途的AI應(yīng)用，最近的進展在氣象學界引起了巨大反響。
這要歸功于一個秘密武器：一個極其豐富的數(shù)據(jù)集。
歐洲中期天氣預報中心（ECMWF），世界頂尖的數(shù)值天氣預報組織，維護著一套關(guān)于大氣、陸地和海洋天氣的數(shù)據(jù)集，每天在全球各地每隔幾個小時記錄一次，數(shù)據(jù)可以追溯到1940年。
圖片
特別是過去50年的數(shù)據(jù)，在全球衛(wèi)星覆蓋之后，尤其豐富。這個數(shù)據(jù)集被稱為ERA5，并且是公開可用的。
ERA5并非專門為人工智能應(yīng)用而創(chuàng)建，但ERA5卻為人工智能天氣應(yīng)用的發(fā)展發(fā)揮了巨大作用。
計算機科學家直到2022年才真正開始認真使用這些數(shù)據(jù)來訓練人工智能模型，以預測天氣。
從那時起，這項技術(shù)取得了突飛猛進的發(fā)展。在某些情況下，這些模型的輸出結(jié)果已經(jīng)優(yōu)于科學家們花費數(shù)十年時間設(shè)計和建立的全球天氣模型，而且運行那些模型還需要一些世界上最強大的超級計算機。
歐洲氣象中心ECMWF人工智能預報工作負責人Matthew Chantry在接受采訪時表示，「很明顯，機器學習是未來天氣預報的重要組成部分。」
ECMWF正在招聘人才來開發(fā)基于機器學習的地球系統(tǒng)模擬
AI天氣預報的起源
大約6年前，一些使用基于神經(jīng)網(wǎng)絡(luò)的深度學習技術(shù)進行天氣預報的早期學術(shù)研究就開始了。
起初，計算機科學家們對這一方法是否奏效并不十分樂觀，因為它與幾十年來發(fā)展起來的天氣預報科學大相徑庭。
時間來到2022年，人們才稍微放下了對AI模型的懷疑。
先是物理學家和數(shù)據(jù)科學家Ryan Keisler，利用「圖神經(jīng)網(wǎng)絡(luò)」展示了一些初步的成果。
圖片
論文地址：https://arxiv.org/abs/2202.07575
隨后，中國科學家提出的「Pangu-Weather」模型，直接登上了Nature。
結(jié)果顯示，它在某些情況下甚至超過了當今最強的基于物理的模型——ECMWF。
圖片
論文地址：https://www.nature.com/articles/s41586-023-06185-3
這在使用深度學習技術(shù)和天氣建模的科學家社區(qū)中引起了震動。
很快，歐洲科學家開始基于其他深度學習模型的研究成果制作一個操作模型，這并沒有花費太長時間。
到去年年底，新的人工智能綜合預報系統(tǒng)（AIFS）已經(jīng)產(chǎn)生了「非常有希望」的結(jié)果。今年春天，歐洲預報員開始發(fā)布實時預報。
目前，基于物理的天氣模型依然不可或缺。它們是非常強大的工具，顯著提高了我們對重大事件進行五天、七天甚至偶爾十天天氣預報的能力，受到全球預報員的信賴。
但未來會是什么樣子呢？可能在十年之后，AI將會掌管天氣領(lǐng)域的一切。
參考資料：
