鯤鵬DevKit助力南京信息工程大學高效開發(fā)
全球變暖背景下,干旱、高溫、暴雨等極端天氣帶來的自然災害頻發(fā),如2022年夏季我國南方地區(qū)歷史性高溫干旱事件,23個省份持續(xù)出現(xiàn)40℃以上高溫,據(jù)麥肯錫預測,預計到 2050 年,由于極端高溫和濕度增加而帶來的勞動力損失,將使亞太地區(qū)每年損失4.7萬億美元的GDP,約占全球損失總額的三分之二。因此如何更精確地提前預測氣候并采取及時有效的防范措施,是減少此類自然災害的關鍵手段。
氣象災害教育部重點實驗室作為南京信息工程大學的重點實驗室之一,其團隊自主研發(fā)的極端高溫干旱天氣模擬與預測平臺,采用自主創(chuàng)新開源操作系統(tǒng)及自主創(chuàng)新的組件部署,配合網(wǎng)頁端展示平臺可實時展示多種氣象要素。同時也可用于區(qū)域氣候、空氣質量模擬等大氣數(shù)值模擬實驗等,可實現(xiàn)對過往極端天氣事件的高精度模擬以及未來可能出現(xiàn)的極端事件的預報。
氣象應用是高性能計算的重要領域,算力是影響天氣預警精確性的重要因素。為更加高效的完成氣象預測和科研工作,實驗室對于承載極端高溫干旱天氣模擬與預測平臺的底層基礎設施算力有著強烈的訴求:
海量數(shù)據(jù)高效處理
氣象預測涉及跨時間和地區(qū)的海量數(shù)據(jù)收集及處理,以長江中游地區(qū)的一次高溫災害事件的模擬為例,涉及的高精度資料約10G。隨著各類氣象觀測數(shù)據(jù)的預測精度及頻率的遞增,每年的氣象數(shù)據(jù)已達到PB量級,計算需求量大。
高精度、高性能
隨著氣象預測的準確度越來越高,氣象行業(yè)對精度及天氣短臨預報的時效性要求也越來越高:預報精度從幾百公里、幾十公里到實現(xiàn)“點對點”的預報,預報時效性由超前一周提升至超前半個月、一個月的精準預測……這些都對算力提出了更高的要求。
鯤鵬平臺天生的眾核高并發(fā)、高吞吐能力,能夠更好的滿足上訴需求,同時提供鯤鵬開發(fā)套件DevKit,實現(xiàn)應用的高效開發(fā)和性能優(yōu)化。基于以上考慮,南京信息工程大學的技術團隊選擇鯤鵬作為「極端高溫干旱天氣模擬與預測平臺」的算力支撐,并在鯤鵬上原生開發(fā)部分側邊界試驗模塊。
【極端高溫干旱天氣模擬與預測平臺架構圖】
遷移:基于鯤鵬DevKit 2人天快速遷移極端高溫干旱天氣模擬與預測創(chuàng)新平臺
在項目實施初期,開發(fā)人員需要將極端高溫干旱天氣模擬與預測創(chuàng)新平臺快速遷移到鯤鵬。由于整個系統(tǒng)架構復雜,涉及修改代碼行數(shù)1806行,源文件數(shù)293個,手動遷移預計需要15人天才能完成。
開發(fā)人員通過鯤鵬DevKit代碼遷移工具對依賴文件自動識別、兼容JAR包一鍵下載、代碼修改建議一鍵替換,整個遷移過程縮短至2人天,大大降低了開發(fā)過程中的人力資源成本。
【使用鯤鵬DevKit代碼遷移工具掃描獲取遷移報告】
開發(fā)&調優(yōu):基于鯤鵬DevKit高效開發(fā)部分側邊界試驗模塊,性能提升57.7%
遷移完成之后,為應對極端高溫干旱災害的科學研究等場景需求,開發(fā)團隊需要在鯤鵬平臺上新開發(fā)部分側邊界試驗模塊,該模塊作為平臺的核心組件,用于研究季節(jié)內振蕩等大氣低頻變化對于極端事件的影響。
由于原有X86平臺的開發(fā)經(jīng)驗和兼容生態(tài)并不能直接復制到鯤鵬平臺之上,開發(fā)人員在應用開發(fā)過程中也遇到了多重挑戰(zhàn):
在開發(fā)過程中缺乏鯤鵬優(yōu)勢能力的實時引導,無法充分發(fā)揮鯤鵬的算力;★ 不熟悉鯤鵬兼容生態(tài),無法快速搭建高性能計算應用編譯環(huán)境,開發(fā)效率低;
面對上述挑戰(zhàn),技術人員在開發(fā)過程中使用了鯤鵬DevKit提供的鯤鵬開發(fā)框架、高性能計算SDK、GCC for openEuler和性能分析工具,進一步提升應用開發(fā)效率及軟件運行性能。
首先,技術人員通過鯤鵬開發(fā)框架插件快速創(chuàng)建高性能計算場景化工程, 該工具支持啟發(fā)式編程,能夠智能提示近萬條函數(shù)和編譯選項,大大提升了開發(fā)體驗,使得開發(fā)者可以專心攻克業(yè)務邏輯設計;
同時基于鯤鵬高性能計算SDK一鍵引入Hyper MPI通信庫和鯤鵬數(shù)學加速庫,有效提升了網(wǎng)絡加速能力,使能了節(jié)點間高速通信網(wǎng)絡和節(jié)點內共享內存機制,以及優(yōu)化的集合通信算法,更便捷高效地完成了部分側邊界試驗模塊的應用開發(fā)。
為了提升編譯效率,技術人員在編譯過程中將之前的GNU-GCC更換為GCC for openEuler。GCC for openEuler提供了針對鯤鵬微架構處理器及指令優(yōu)化,通過軟硬協(xié)同相較GNU-GCC提供更強的性能。提升了WRF組件在鯤鵬架構上的編譯效率,增強了組件間的耦合關系,從而使組件的性能得到了很大的提升。
此外,由于試驗包括控制試驗以及敏感性試驗兩部分,計算量較一般數(shù)值模擬大幅增加,所以對性能要求極高。
因此技術人員采用鯤鵬DevKit 高性能計算場景化分析對平臺進行了深度優(yōu)化:通過鯤鵬DevKit 高性能計算場景化分析創(chuàng)建MPI分析任務,在進行積分操作時發(fā)現(xiàn)存在積分響應時間長等問題,根據(jù)工具的提示,技術人員快速找到了異常函數(shù),并對異常函數(shù)展開了深入分析和優(yōu)化,通過上述一系列的分析與調優(yōu),在同等算力下,初始場處理時間由0.85s降低至0.55s;邊界場處理時間由0.10s降低至0.07s;積分一步響應時間由0.33s降低至0.19s;結果輸出的時間由2.01s降低至0.85s,最終極端高溫干旱天氣模擬與預測創(chuàng)新平臺在鯤鵬平臺上的運行性能整體提升了57%。
【使用鯤鵬DevKit開發(fā)工具優(yōu)化前后性能對比圖】
上述性能的提升極大的增強了平臺數(shù)值天氣模擬計算能力,提升了數(shù)值氣象預報計算效率,優(yōu)化了極端天氣模擬預報速度,大幅降低了計算成本;也為廣大公眾、各行各業(yè)提供更加精細化、專業(yè)化、多元化的服務,服務防災減災、鄉(xiāng)村振興、生態(tài)文明建設,保障生命安全、生產(chǎn)發(fā)展,助力經(jīng)濟社會高質量發(fā)展。
南京信息工程大學作為國內氣象學科的佼佼者,在氣象數(shù)值模擬、氣象預報領域建樹豐富,本次基于鯤鵬平臺開發(fā)的「極端高溫干旱天氣模擬與預測平臺」方案也在鯤鵬應用創(chuàng)新大賽2022全國總決賽中獲得銅獎,江蘇賽區(qū)二等獎。
未來,南京信息工程大學也將持續(xù)致力于氣象科學的發(fā)展,逐步提升氣象預測平臺對干旱天氣預測的準確度和實時性,未來可結合各氣象部門及各大學、研究所等,孵化出更多的智慧氣象應用,進一步降低高溫干旱復合災害在世界各地對農(nóng)業(yè)生產(chǎn)、國民經(jīng)濟造成的影響。
作為鯤鵬計算產(chǎn)業(yè)生態(tài)重要伙伴,南京信息工程大學已與江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心建立長期合作關系。未來,鯤鵬將持續(xù)通過最新的技術使能伙伴聯(lián)合創(chuàng)新,打造更具競爭力及創(chuàng)新力的行業(yè)解決方案,促進千行百業(yè)數(shù)字化轉型。
南京信息工程大學作為國家“雙一流”建設高校,高度重視科技創(chuàng)新引領,承擔國家自然科學基金項目、國家重點研發(fā)計劃重點專項(含課題專項)百余項。“氣象災害教育部重點實驗室”作為國家級重點學科培育點之一,重點圍繞氣象災害的監(jiān)測、預警及影響評估等方向開展應用基礎研究,以提高天氣氣候預報預測準確率和氣候變化影響評估水平,為國家防災減災和應對氣候變化提供科學支撐。