自人類有歷史以來，就一直執(zhí)著于預(yù)測(cè)天氣，以各種方式破解「天空之語」，我們慢慢發(fā)現(xiàn)，草木、云層似乎都與天氣有關(guān)，這不僅僅是因?yàn)槿祟悘氖律a(chǎn)的需要，也是人類想要對(duì)著大風(fēng)歌唱、在月光下吟詩的需要。

《冰與火之歌》中的風(fēng)雨歌師，就是通過歌聲和吟唱來預(yù)測(cè)天氣和風(fēng)暴，人們還會(huì)幻想擁有「改變天氣」的超能力。

天氣之子

后來，有了氣象專家和天氣預(yù)報(bào)，可我們始終還是不能脫離具身體驗(yàn)和物理世界，但現(xiàn)在，AI讓情況起了變化。

微軟發(fā)布首個(gè)大規(guī)模大氣基礎(chǔ)模型Aurora，能夠從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)，展現(xiàn)出了驚人的準(zhǔn)確率和效率。

變化不僅僅是一家公司帶來的，而是全球性的。

世界頂尖的數(shù)值天氣預(yù)報(bào)組織——?dú)W洲中期天氣預(yù)報(bào)中心維護(hù)的一個(gè)極其豐富的數(shù)據(jù)集，給AI天氣預(yù)報(bào)提供了強(qiáng)有力的數(shù)據(jù)支撐。

在未來，或許無需物理學(xué)，一臺(tái)計(jì)算機(jī)就可以捕捉全球的「風(fēng)云變幻」。

影響不止于此，如果我們已經(jīng)可以用AI預(yù)測(cè)全球天氣，「建模」地球還會(huì)遠(yuǎn)嗎？

微軟發(fā)布首個(gè)大規(guī)模大氣基礎(chǔ)模型

全球極端天氣事件頻發(fā)，在突如其來的風(fēng)暴面前，人類顯得尤為渺小。

總是讓人措手不及的極端天氣，暴露了當(dāng)前天氣預(yù)報(bào)模型的局限性，并凸顯了在氣候變化面前進(jìn)行更準(zhǔn)確預(yù)報(bào)的必要性。

一個(gè)緊迫的問題出現(xiàn)了：我們?nèi)绾尾拍芨玫仡A(yù)測(cè)此類極端天氣事件并做好準(zhǔn)備？

Charlton Perez等人最近的一項(xiàng)研究強(qiáng)調(diào)，即使是最先進(jìn)的人工智能天氣預(yù)測(cè)模型，在捕捉風(fēng)暴的快速增強(qiáng)和峰值風(fēng)速方面也面臨挑戰(zhàn)。

為了幫助應(yīng)對(duì)這些挑戰(zhàn)，微軟的一個(gè)研究團(tuán)隊(duì)開發(fā)了Aurora，Aurora意為「極光」，這是一個(gè)尖端的人工智能基礎(chǔ)模型，可以從大量的大氣數(shù)據(jù)中提取有價(jià)值的見解。

論文地址：?https://www.microsoft.com/en-us/research/publication/aurora-a-foundation-model-of-the-atmosphere/??

Aurora提供了一種新的天氣預(yù)報(bào)方法，可以改變我們預(yù)測(cè)和減輕極端事件影響的能力。

靈活的3D大氣基礎(chǔ)模型

在預(yù)訓(xùn)練時(shí)，Aurora會(huì)進(jìn)行優(yōu)化，以便在具有不同分辨率、變量和壓力水平的多個(gè)異構(gòu)數(shù)據(jù)集上最大限度地減少損失。分兩個(gè)階段對(duì)模型進(jìn)行微調(diào)：(1) 短時(shí)間內(nèi)對(duì)預(yù)訓(xùn)練的權(quán)重進(jìn)行微調(diào)；(2) 使用低秩自適應(yīng)性（LoRA）進(jìn)行長(zhǎng)前置時(shí)間（rollout）微調(diào)。微調(diào)后的模型將用于處理不同分辨率的各種業(yè)務(wù)預(yù)報(bào)情況

雖然參數(shù)量只有1.3B，但Aurora在超過一百萬小時(shí)的各種天氣和氣候模擬中進(jìn)行了訓(xùn)練，這使它能夠全面了解大氣動(dòng)力學(xué)。

因此，即使在數(shù)據(jù)稀缺地區(qū)或極端天氣情況下，該模型也能出色地完成各種預(yù)測(cè)任務(wù)。

通過在0.1°（赤道約 11 公里）的高空間分辨率下運(yùn)行，Aurora能夠捕捉大氣過程的復(fù)雜細(xì)節(jié)，提供比以往任何時(shí)候都更加準(zhǔn)確的業(yè)務(wù)預(yù)報(bào)，而計(jì)算成本僅為傳統(tǒng)數(shù)值天氣預(yù)報(bào)系統(tǒng)的一小部分。

據(jù)研究人員估計(jì)，與數(shù)值預(yù)報(bào)系統(tǒng)界的SOTA——綜合預(yù)報(bào)系統(tǒng)（Integrated Forecasting System，IFS）相比，Aurora的計(jì)算速度提高了約5000倍。

除了令人驚嘆的準(zhǔn)確性和效率之外，Aurora還以其多功能性而脫穎而出。

該模型可以預(yù)測(cè)廣泛的大氣變量，從溫度、風(fēng)速到空氣污染水平和溫室氣體濃度。

Aurora的架構(gòu)設(shè)計(jì)可處理異構(gòu)黃金標(biāo)準(zhǔn)輸入，并生成不同分辨率和保真度級(jí)別的預(yù)測(cè)。

該模型由一個(gè)靈活的3D Swin Transformer和基于Perceiver的編碼器和解碼器組成，能夠處理和預(yù)測(cè)一系列跨空間和壓力級(jí)別的大氣變量。

通過對(duì)大量不同數(shù)據(jù)的預(yù)訓(xùn)練和對(duì)特定任務(wù)的微調(diào)，Aurora學(xué)會(huì)了捕捉大氣中錯(cuò)綜復(fù)雜的模式和結(jié)構(gòu)，使其在針對(duì)特定任務(wù)進(jìn)行微調(diào)時(shí)，即使訓(xùn)練數(shù)據(jù)有限也能表現(xiàn)出色。

快速預(yù)測(cè)大氣化學(xué)和空氣污染

Aurora在許多目標(biāo)上都優(yōu)于運(yùn)行中的CAMS：(a) 與CAMS分析相比，Aurora預(yù)測(cè)的二氧化氮柱總量樣本；(b) Aurora相對(duì)于CAMS 的緯度加權(quán)均方根誤差（RMSE），負(fù)值（藍(lán)色）表示 Aurora 更好

由于大氣化學(xué)、天氣模式和人類活動(dòng)之間復(fù)雜的相互作用，以及哥白尼大氣監(jiān)測(cè)服務(wù)（CAMS）數(shù)據(jù)的高度異構(gòu)性，這是一項(xiàng)眾所周知的艱巨任務(wù)。

Aurora利用其靈活的編碼器-解碼器架構(gòu)和關(guān)注機(jī)制，有效地處理和學(xué)習(xí)這些具有挑戰(zhàn)性的數(shù)據(jù)，捕捉空氣污染物的獨(dú)特特征及其與氣象變量的關(guān)系。

這使得Aurora能夠以0.4°的空間分辨率生成精確的五天全球空氣污染預(yù)報(bào)，在74%的所有目標(biāo)上都優(yōu)于最先進(jìn)的大氣化學(xué)模擬，證明了它在解決各種環(huán)境預(yù)報(bào)問題方面的卓越適應(yīng)性和潛力，即使在數(shù)據(jù)稀少或高度復(fù)雜的情況下也是如此。

數(shù)據(jù)多樣性和模型縮放改善了大氣預(yù)報(bào)

研究還發(fā)現(xiàn)，與在單一數(shù)據(jù)集上進(jìn)行的訓(xùn)練相比，在不同數(shù)據(jù)集上進(jìn)行的預(yù)訓(xùn)練能顯著提高Aurora的性能。

通過整合氣候模擬、再分析產(chǎn)品和業(yè)務(wù)預(yù)測(cè)的數(shù)據(jù)，Aurora可以學(xué)習(xí)到更強(qiáng)大、更通用的大氣動(dòng)力學(xué)表征。

正是由于其規(guī)模和多樣化的預(yù)訓(xùn)練數(shù)據(jù)集，Aurora能夠在各種任務(wù)和分辨率下超越最先進(jìn)的數(shù)值天氣預(yù)報(bào)模型和專門的深度學(xué)習(xí)方法。

在不同數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練并擴(kuò)大模型規(guī)模可提高性能，模型大小每增加一倍，訓(xùn)練損失就會(huì)減少5%

Aurora規(guī)模化直接帶來的是，無論是在架構(gòu)設(shè)計(jì)和訓(xùn)練數(shù)據(jù)語料庫，還是預(yù)訓(xùn)練和微調(diào)協(xié)議方面，其性能都優(yōu)于最好的專業(yè)深度學(xué)習(xí)模型。

為了進(jìn)一步驗(yàn)證在多個(gè)數(shù)據(jù)集上預(yù)訓(xùn)練大型模型進(jìn)行微調(diào)的收益，微軟團(tuán)隊(duì)將Aurora與GraphCast進(jìn)行了比較，后者僅在ERA5上進(jìn)行了預(yù)訓(xùn)練，目前被認(rèn)為是分辨率為0.25度、預(yù)測(cè)時(shí)間長(zhǎng)達(dá)五天的最熟練的人工智能模型。

此外，研究人員還將IFS HRES（數(shù)值天氣預(yù)報(bào)的黃金標(biāo)準(zhǔn)）也納入了比較范圍。

結(jié)果表明，在與分析、氣象站觀測(cè)和極端值進(jìn)行比較時(shí)，Aurora 的表現(xiàn)都要優(yōu)于GraphCast和IFS HRES。

在絕大多數(shù)目標(biāo)上，Aurora的性能都優(yōu)于GraphCast

地球系統(tǒng)建模的范式轉(zhuǎn)變

Aurora的影響遠(yuǎn)遠(yuǎn)超出了大氣預(yù)報(bào)。

通過展示基礎(chǔ)模型在地球科學(xué)中的力量，這項(xiàng)研究為開發(fā)涵蓋整個(gè)地球系統(tǒng)的綜合模型鋪平了道路。

基礎(chǔ)模型能夠在數(shù)據(jù)稀缺的情況下出色地完成下游任務(wù)，這將使數(shù)據(jù)稀缺地區(qū)（如發(fā)展中國(guó)家和極地地區(qū)）獲取準(zhǔn)確天氣和氣候信息的途徑更加民主化。

這將對(duì)農(nóng)業(yè)、交通、能源采集和備災(zāi)等部門產(chǎn)生深遠(yuǎn)影響，使社區(qū)能夠更好地適應(yīng)氣候變化帶來的挑戰(zhàn)。

無需物理學(xué)？AI天氣預(yù)報(bào)進(jìn)展巨大

變化來得太快，就像龍卷風(fēng)，天氣預(yù)報(bào)界正在經(jīng)歷重大變革。

最終的目標(biāo)是革命性的：運(yùn)用基于AI的新方法，在桌面計(jì)算機(jī)上就可以運(yùn)行天氣預(yù)報(bào)！

在過去的18個(gè)月里，天氣預(yù)報(bào)成為了一個(gè)最有前途的AI應(yīng)用，最近的進(jìn)展在氣象學(xué)界引起了巨大反響。

這要?dú)w功于一個(gè)秘密武器：一個(gè)極其豐富的數(shù)據(jù)集。

歐洲中期天氣預(yù)報(bào)中心（ECMWF），世界頂尖的數(shù)值天氣預(yù)報(bào)組織，維護(hù)著一套關(guān)于大氣、陸地和海洋天氣的數(shù)據(jù)集，每天在全球各地每隔幾個(gè)小時(shí)記錄一次，數(shù)據(jù)可以追溯到1940年。

特別是過去50年的數(shù)據(jù)，在全球衛(wèi)星覆蓋之后，尤其豐富。這個(gè)數(shù)據(jù)集被稱為ERA5，并且是公開可用的。

ERA5并非專門為人工智能應(yīng)用而創(chuàng)建，但ERA5卻為人工智能天氣應(yīng)用的發(fā)展發(fā)揮了巨大作用。

計(jì)算機(jī)科學(xué)家直到2022年才真正開始認(rèn)真使用這些數(shù)據(jù)來訓(xùn)練人工智能模型，以預(yù)測(cè)天氣。

從那時(shí)起，這項(xiàng)技術(shù)取得了突飛猛進(jìn)的發(fā)展。在某些情況下，這些模型的輸出結(jié)果已經(jīng)優(yōu)于科學(xué)家們花費(fèi)數(shù)十年時(shí)間設(shè)計(jì)和建立的全球天氣模型，而且運(yùn)行那些模型還需要一些世界上最強(qiáng)大的超級(jí)計(jì)算機(jī)。

歐洲氣象中心ECMWF人工智能預(yù)報(bào)工作負(fù)責(zé)人Matthew Chantry在接受采訪時(shí)表示，「很明顯，機(jī)器學(xué)習(xí)是未來天氣預(yù)報(bào)的重要組成部分。」

ECMWF正在招聘人才來開發(fā)基于機(jī)器學(xué)習(xí)的地球系統(tǒng)模擬

AI天氣預(yù)報(bào)的起源

大約6年前，一些使用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)進(jìn)行天氣預(yù)報(bào)的早期學(xué)術(shù)研究就開始了。

起初，計(jì)算機(jī)科學(xué)家們對(duì)這一方法是否奏效并不十分樂觀，因?yàn)樗c幾十年來發(fā)展起來的天氣預(yù)報(bào)科學(xué)大相徑庭。

時(shí)間來到2022年，人們才稍微放下了對(duì)AI模型的懷疑。

先是物理學(xué)家和數(shù)據(jù)科學(xué)家Ryan Keisler，利用「圖神經(jīng)網(wǎng)絡(luò)」展示了一些初步的成果。

論文地址：https://arxiv.org/abs/2202.07575

隨后，中國(guó)科學(xué)家提出的「Pangu-Weather」模型，直接登上了Nature。

結(jié)果顯示，它在某些情況下甚至超過了當(dāng)今最強(qiáng)的基于物理的模型——ECMWF。

論文地址：https://www.nature.com/articles/s41586-023-06185-3

這在使用深度學(xué)習(xí)技術(shù)和天氣建模的科學(xué)家社區(qū)中引起了震動(dòng)。

很快，歐洲科學(xué)家開始基于其他深度學(xué)習(xí)模型的研究成果制作一個(gè)操作模型，這并沒有花費(fèi)太長(zhǎng)時(shí)間。

到去年年底，新的人工智能綜合預(yù)報(bào)系統(tǒng)（AIFS）已經(jīng)產(chǎn)生了「非常有希望」的結(jié)果。今年春天，歐洲預(yù)報(bào)員開始發(fā)布實(shí)時(shí)預(yù)報(bào)。

目前，基于物理的天氣模型依然不可或缺。它們是非常強(qiáng)大的工具，顯著提高了我們對(duì)重大事件進(jìn)行五天、七天甚至偶爾十天天氣預(yù)報(bào)的能力，受到全球預(yù)報(bào)員的信賴。

但未來會(huì)是什么樣子呢？可能在十年之后，AI將會(huì)掌管天氣領(lǐng)域的一切。

本文轉(zhuǎn)自 新智元，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/x4gzUQBsiAkqeqaq2pfQLA??