清華&中國(guó)氣象局大模型登Nature:解決世界級(jí)難題,「鬼天氣」預(yù)報(bào)時(shí)效首次達(dá)3小時(shí)
真·“未雨綢繆”,清華大學(xué)「鬼天氣」預(yù)報(bào)大模型來了!
是能破解世界未解難題的那種——
公里尺度下0~3小時(shí)極端降水都能預(yù)報(bào)。
包括短時(shí)強(qiáng)降水、暴風(fēng)雨、暴雪、冰雹等在內(nèi)的極端降水天氣,都能做到提前預(yù)警。
圖片
完成這項(xiàng)研究可實(shí)屬不易。
清華大學(xué)軟件學(xué)院與國(guó)家氣象中心、國(guó)家氣象信息中心合作,聯(lián)合攻關(guān)三年才提出這個(gè)名為NowcastNet的極端降水臨近預(yù)報(bào)大模型,并用了近六年的雷達(dá)觀測(cè)資料完成了模型的訓(xùn)練。
在全國(guó)62位氣象預(yù)報(bào)專家的過程檢驗(yàn)中,該方法大幅領(lǐng)先國(guó)際上的同類方法,研究成果現(xiàn)已登Nature。
圖片
目前,NowcastNet已經(jīng)在國(guó)家氣象中心短臨預(yù)報(bào)業(yè)務(wù)平臺(tái)(SWAN 3.0)部署上線,將為全國(guó)極端降水天氣短臨預(yù)報(bào)業(yè)務(wù)提供支撐。
那么極端降水的臨近預(yù)報(bào)為什么這么難?清華團(tuán)隊(duì)又是如何解決這一難題的?
為什么被列為科學(xué)難題?
近年來,受全球氣候變化影響,極端降水天氣頻發(fā),實(shí)現(xiàn)更準(zhǔn)確、更精細(xì)和更長(zhǎng)預(yù)警提前量的降水臨近預(yù)報(bào)成為人們的關(guān)注點(diǎn)。
由于極端降水天氣過程大多只持續(xù)幾十分鐘且空間尺度在幾公里范圍,受到對(duì)流、氣旋、地形等復(fù)雜過程和大氣系統(tǒng)混沌效應(yīng)的影響較為嚴(yán)重。
而基于物理方程模擬的數(shù)值預(yù)報(bào)技術(shù)很難對(duì)公里尺度的極端降水做出有效預(yù)報(bào)。
因此,在今年5月27日世界氣象組織峰會(huì)上,三小時(shí)內(nèi)降水臨近預(yù)報(bào)就被列為了未解決的重要科學(xué)難題之一。
△基于雷達(dá)觀測(cè)的降水臨近預(yù)報(bào)是世界性難題之一
此前也有預(yù)測(cè)極端降水天氣的方法。
數(shù)值計(jì)算和深度學(xué)習(xí)就是降水臨近預(yù)報(bào)的兩類主流方法,但均存在明顯的缺陷:
數(shù)值計(jì)算方法難以有效建模降水過程的時(shí)空多尺度特征,同時(shí)受到預(yù)報(bào)累積誤差的制約,預(yù)報(bào)時(shí)效往往在一小時(shí)以內(nèi)。
深度學(xué)習(xí)方法雖然擅長(zhǎng)建模非線性系統(tǒng),但統(tǒng)計(jì)模型存在固有的小樣本過平滑問題,預(yù)報(bào)求解過程缺少物理守恒規(guī)律約束,生成的數(shù)值場(chǎng)模糊失真嚴(yán)重,難以提供有業(yè)務(wù)價(jià)值的極端降水預(yù)報(bào)。
臨近預(yù)報(bào)大模型NowcastNet
針對(duì)上述挑戰(zhàn),2017年起,清華大學(xué)軟件學(xué)院王建民教授、龍明盛副教授團(tuán)隊(duì)就與國(guó)家氣象中心、國(guó)家氣象信息中心建立研究團(tuán)隊(duì),就人工智能技術(shù)在氣象大數(shù)據(jù)的應(yīng)用開展合作。
經(jīng)過三年聯(lián)合攻關(guān),提出了臨近預(yù)報(bào)大模型NowcastNet,并在美國(guó)和中國(guó)近六年雷達(dá)觀測(cè)資料上完成了訓(xùn)練。
該模型的核心是端到端建模降水物理過程的神經(jīng)演變算子,實(shí)現(xiàn)了深度學(xué)習(xí)與物理規(guī)律的無(wú)縫融合。
△物理建模與深度學(xué)習(xí)融合的臨近預(yù)報(bào)大模型NowcastNet
具體而言,研究團(tuán)隊(duì)首先設(shè)計(jì)了中尺度演變網(wǎng)絡(luò),用以建模平流運(yùn)動(dòng)等物理性質(zhì)更顯著的中尺度降水過程,并基于物質(zhì)連續(xù)性方程(即質(zhì)量守恒定律)設(shè)計(jì)了神經(jīng)演變算子,端到端模擬降水過程中的十公里尺度運(yùn)動(dòng),并通過反向傳播最小化預(yù)報(bào)累積誤差。
其次,研究團(tuán)隊(duì)提出了對(duì)流尺度生成網(wǎng)絡(luò),以中尺度演變網(wǎng)絡(luò)預(yù)測(cè)結(jié)果為條件,通過概率生成模型進(jìn)一步捕捉對(duì)流生消等混沌效應(yīng)更顯著的公里尺度降水過程。
得益于上述融合設(shè)計(jì),該模型兼具深度學(xué)習(xí)與物理建模的優(yōu)勢(shì),在國(guó)際上首次將降水臨近預(yù)報(bào)的時(shí)效延長(zhǎng)至3小時(shí)(上文提到,此前數(shù)值計(jì)算方法通常在1小時(shí)內(nèi)),并彌補(bǔ)了極端降水預(yù)報(bào)的短板。
為了充分檢驗(yàn)臨近預(yù)報(bào)大模型NowcastNet對(duì)典型天氣過程的業(yè)務(wù)指導(dǎo)價(jià)值,國(guó)家氣象中心邀請(qǐng)了62位來自23個(gè)省市氣象臺(tái)的一線預(yù)報(bào)專家,針對(duì)中美兩國(guó)2400個(gè)極端降水過程進(jìn)行了后驗(yàn)檢驗(yàn)和先驗(yàn)檢驗(yàn),并與目前業(yè)務(wù)中使用的方法進(jìn)行了對(duì)比。
其中,pySTEPS是一種基于平流的方法,是目前世界各地氣象中心所廣泛采用的預(yù)報(bào)系統(tǒng)。PredRNN是一種數(shù)據(jù)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò),已在中國(guó)氣象局部署。而DGMR是由谷歌DeepMind與英國(guó)氣象局聯(lián)合提出的模型。
所有模型都在美國(guó)和中國(guó)降水事件的大型雷達(dá)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。
圖片
△氣象專家檢驗(yàn)結(jié)果和數(shù)值指標(biāo)評(píng)測(cè)結(jié)果,CSI用于衡量預(yù)報(bào)的位置準(zhǔn)確性;PSD用于衡量預(yù)報(bào)的頻譜特征與雷達(dá)觀測(cè)的降水變化性之間的比較。
正如上圖所示,NowcastNet在臨界成功指數(shù)(CSI)、能量譜密度(PSD)等數(shù)值指標(biāo)上全面超越現(xiàn)有技術(shù),在71%的天氣過程中被認(rèn)為具有最高的預(yù)報(bào)價(jià)值。
在極端降水過程中,NowcastNet是唯一展現(xiàn)較強(qiáng)業(yè)務(wù)價(jià)值的臨近預(yù)報(bào)技術(shù)。
以中美兩國(guó)的典型極端天氣過程為例:
2021年5月14日23時(shí)40分,中國(guó)江淮地區(qū)出現(xiàn)強(qiáng)降水過程,湖北、安徽等多個(gè)地區(qū)發(fā)布了暴雨紅色預(yù)警,NowcastNet可以準(zhǔn)確預(yù)測(cè)出三個(gè)強(qiáng)降水超級(jí)單體的變化過程。
圖片
△a. 預(yù)測(cè)的地理信息、b. 不同模型在T+1小時(shí)、T+2小時(shí)和T+3小時(shí)上的預(yù)測(cè)結(jié)果、c. CSI是一種用于評(píng)估預(yù)測(cè)準(zhǔn)確性的指標(biāo)
2021年12月11日9時(shí)30分,美國(guó)中部地區(qū)突發(fā)龍卷風(fēng)災(zāi)害,造成89人死亡、676人受傷,NowcastNet可以對(duì)強(qiáng)降水的強(qiáng)度、落區(qū)和運(yùn)動(dòng)形態(tài)等給出更清晰、更準(zhǔn)確的預(yù)報(bào)結(jié)果。
圖片
檢驗(yàn)表明,NowcastNet對(duì)于極端災(zāi)害天氣的精準(zhǔn)防控具有良好的指導(dǎo)意義。
目前,該研究成果以“高技巧極端降水臨近預(yù)報(bào)大模型”(Skilful Nowcasting of Extreme Precipitation with NowcastNet)為題發(fā)表在《自然》(Nature)上,同時(shí)被《自然·新聞和觀點(diǎn)》以“The Outlook for AI Weather Prediction”為題做了報(bào)道。
研究人員認(rèn)為:
該研究探索了數(shù)據(jù)驅(qū)動(dòng)與物理驅(qū)動(dòng)的“科學(xué)學(xué)習(xí)”新范式,提出了物理守恒約束下時(shí)空物質(zhì)場(chǎng)建模和預(yù)測(cè)的一般方法,對(duì)其他具有多尺度物理特性的問題也具有應(yīng)用前景。
他們還表示:
未來將進(jìn)一步推進(jìn)該方案在物理問題求解、大氣海洋模擬、工業(yè)設(shè)計(jì)仿真等場(chǎng)景下的應(yīng)用。
團(tuán)隊(duì)信息
清華大學(xué)軟件學(xué)院王建民教授、龍明盛副教授,以及機(jī)器學(xué)習(xí)泰斗、加州大學(xué)伯克利分校教授、清華大學(xué)榮譽(yù)教授Michael I. Jordan為論文的通訊作者。
清華大學(xué)軟件學(xué)院博士生張育宸和龍明盛副教授為論文的第一作者,碩士生陳凱源、邢藍(lán)翔參加了研究工作。
國(guó)家氣象中心金榮花研究員提供了氣象知識(shí)和數(shù)據(jù)支持并主持了全國(guó)范圍內(nèi)氣象專家檢驗(yàn)工作,羅兵、張小玲、薛峰、盛杰、韓豐、張小雯等專家為研究工作提供了指導(dǎo)、建議和幫助。
研究得到國(guó)家自然科學(xué)基金創(chuàng)新研究群體項(xiàng)目、優(yōu)秀青年科學(xué)基金項(xiàng)目和大數(shù)據(jù)系統(tǒng)軟件國(guó)家工程研究中心的支持。
論文鏈接:https://www.nature.com/articles/s41586-023-06184-4