20年氣象數(shù)據(jù)增長(zhǎng)數(shù)千倍

與世界大數(shù)據(jù)時(shí)代的進(jìn)程相同，氣象數(shù)據(jù)量不斷翻番。

上世紀(jì)90年代及之前，氣象資料大部分局限于地面及高空觀測(cè)。當(dāng)時(shí)，2000多個(gè)地面站以小時(shí)為單位收集氣象信息；120多個(gè)高空站每天觀測(cè)最多不超過(guò)4次。從數(shù)據(jù)量上看不算太多，即便考慮到衛(wèi)星和雷達(dá)資料，其總體日增量也局限在GB量級(jí)。

現(xiàn)在，地面觀測(cè)站大約有4萬(wàn)個(gè)，每10分鐘觀測(cè)一次，未來(lái)還將加密至分鐘級(jí)；在空間密度上，至少增加20倍，頻度將增加60倍，地面及高空觀測(cè)信息總量增加了1200倍。

而這些只占整個(gè)氣象數(shù)據(jù)的30%，雷達(dá)、衛(wèi)星以及數(shù)值預(yù)報(bào)數(shù)據(jù)占到了70%。目前，每年的氣象數(shù)據(jù)已接近PB量級(jí)（1000GB=1TB,1000TB=1PB）。

這也正是大數(shù)據(jù)規(guī)律的體現(xiàn)，即對(duì)大數(shù)據(jù)進(jìn)行相對(duì)簡(jiǎn)單的運(yùn)算永遠(yuǎn)比對(duì)小數(shù)據(jù)進(jìn)行復(fù)雜運(yùn)算得出的結(jié)果準(zhǔn)確。觀測(cè)信息量越大，所蘊(yùn)藏的真實(shí)信息越多，就更能做好預(yù)報(bào)。

　　國(guó)家氣象信息中心副總工沈文海總結(jié)氣象部門(mén)大數(shù)據(jù)特征：從某種程度上說(shuō)，氣象部門(mén)一直在運(yùn)用大數(shù)據(jù)方法，例如，氣候因子“正相關(guān)”“遙相關(guān)”以及一些統(tǒng)計(jì)學(xué)方法。

　　業(yè)界定義的“大數(shù)據(jù)”特點(diǎn)除了大容量、多種類(lèi)型、高速增長(zhǎng)，還有價(jià)值稀缺，即在龐大的數(shù)據(jù)中找出所需要的有價(jià)值數(shù)據(jù)如同大海撈針，需要通過(guò)相應(yīng)的數(shù)學(xué)模型進(jìn)行計(jì)算。反觀氣象行業(yè)，盡管數(shù)據(jù)量逐步變大，但每個(gè)數(shù)據(jù)都有特定的價(jià)值，因此氣象行業(yè)的數(shù)據(jù)不完全符合業(yè)界所定義的“大數(shù)據(jù)”特征。

　　中國(guó)科學(xué)院院士倪光南分析，到目前為止，“大數(shù)據(jù)”主要運(yùn)用對(duì)象是社會(huì)科學(xué)部門(mén)，例如政府、公共衛(wèi)生、社會(huì)安全等部門(mén)，而運(yùn)用在自然科學(xué)界的案例很少。

[[110193]]

　　氣象服務(wù)盤(pán)活數(shù)據(jù)

　　海量氣象數(shù)據(jù)怎么用？這是大數(shù)據(jù)時(shí)代亟待考慮的問(wèn)題。就現(xiàn)有情況看，數(shù)據(jù)在氣象預(yù)報(bào)、氣候預(yù)測(cè)診斷方面運(yùn)用得比較充分；而在氣象服務(wù)領(lǐng)域，大量實(shí)況觀測(cè)數(shù)據(jù)往往被擱置。

　　目前的實(shí)況數(shù)據(jù)氣象服務(wù)主要基于單要素單一站點(diǎn)的形式。這意味著，人們收到的氣象服務(wù)只是周邊氣象站點(diǎn)的天氣情況，并且總有延遲。

　　為此，科研人員正在引進(jìn)國(guó)際先進(jìn)的空間數(shù)據(jù)融合數(shù)值模式方法，即將周邊幾個(gè)站點(diǎn)的數(shù)據(jù)以及其他傳感器所獲得的數(shù)據(jù)融合進(jìn)模式中，反演出整個(gè)區(qū)域的天氣情況。從試驗(yàn)結(jié)果看，運(yùn)算速度達(dá)到分鐘級(jí)，小區(qū)域可達(dá)到秒級(jí)。

　　“這些工作都是在大數(shù)據(jù)的基礎(chǔ)上才能夠進(jìn)行，無(wú)論模式如何先進(jìn)，沒(méi)有海量的數(shù)據(jù)進(jìn)入，都不能達(dá)到很好的效果。”中國(guó)氣象局公共氣象服務(wù)中心高級(jí)工程師唐千紅說(shuō)。

　　讓科研人員欣喜的是，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)并非單純指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息。全世界的工業(yè)設(shè)備、汽車(chē)、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化。可以設(shè)想，這些信息都可以被氣象部門(mén)所用。

　　大數(shù)據(jù)時(shí)代下的氣象服務(wù)是什么樣子？唐千紅認(rèn)為，在看得見(jiàn)的未來(lái)，融入了地理信息、社會(huì)經(jīng)濟(jì)數(shù)據(jù)的氣象服務(wù)，能夠讓人們知道任意時(shí)間地點(diǎn)可能會(huì)發(fā)生什么，例如這陣風(fēng)是否會(huì)吹翻門(mén)口的廣告牌，前面一個(gè)高速路口是不是在下雨、會(huì)不會(huì)發(fā)生山洪。

　　云計(jì)算搭載大數(shù)據(jù)

　　海量數(shù)據(jù)涌入，傳統(tǒng)的處理設(shè)備難以滿足大數(shù)據(jù)處理的功能和性能要求，因此需要超大規(guī)模的計(jì)算。

　　但由于大數(shù)據(jù)處理的非常態(tài)性，單為處理大數(shù)據(jù)而配置大規(guī)模計(jì)算資源，那么當(dāng)處理完成后，計(jì)算資源很可能被閑置，從而造成浪費(fèi)。

　　而云計(jì)算很好地解決了這一問(wèn)題。寬帶資本董事長(zhǎng)田溯寧說(shuō)，大數(shù)據(jù)與云計(jì)算是一個(gè)問(wèn)題的兩面，一個(gè)是問(wèn)題，一個(gè)是解決問(wèn)題的方法。

　　云計(jì)算是大數(shù)據(jù)時(shí)代的基礎(chǔ)。當(dāng)浪涌式的需求出現(xiàn)時(shí)，向“云端”提出申請(qǐng)，“云端”為該需求迅速組織計(jì)算資源，而在計(jì)算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時(shí)組織起來(lái)的資源快速釋放，以做他用。“這樣不僅提高了資源利用率，還使得很多科研人員不需要為了復(fù)雜的運(yùn)算購(gòu)買(mǎi)昂貴的超級(jí)計(jì)算機(jī)，大大降低了使用者的準(zhǔn)入門(mén)檻。”沈文海解釋道。

　　反觀氣象行業(yè)，一些調(diào)研數(shù)據(jù)顯示，很多省級(jí)氣象信息中心計(jì)算機(jī)平均CPU使用率不到5%，最低者低于0.04%。此外，一些縣級(jí)氣象部門(mén)規(guī)劃建設(shè)數(shù)據(jù)中心，而一個(gè)縣級(jí)平臺(tái)70%的數(shù)據(jù)都從省級(jí)平臺(tái)調(diào)集而來(lái)，如果采用云計(jì)算手段，在省級(jí)氣象信息中心運(yùn)算后得出結(jié)果，就可避免再建設(shè)的高投入以及后期的維護(hù)成本。

　　云計(jì)算改變了人們的思維和工作模式。今年，IT行業(yè)出現(xiàn)了基于云計(jì)算的BYOD概念，即帶著自己的IPAD、手機(jī)或者智能電視，接入網(wǎng)絡(luò)進(jìn)行辦公。“一些省級(jí)氣象信息部門(mén)做了相關(guān)嘗試。今后，預(yù)報(bào)員也許可以拿著IPAD，出差在外也能做預(yù)報(bào)。”沈文海說(shuō)。

　　靠誰(shuí)打破數(shù)據(jù)壁壘

　　并不是僅靠硬件就能在大數(shù)據(jù)時(shí)代站穩(wěn)腳跟。

　　“沿著氣象服務(wù)社會(huì)化方向，光靠氣象部門(mén)的數(shù)據(jù)很難滿足各行各業(yè)及公眾對(duì)氣象服務(wù)的需求。” 中國(guó)氣象局公共氣象服務(wù)中心系統(tǒng)開(kāi)發(fā)運(yùn)行室主任惠建忠看到了大數(shù)據(jù)時(shí)代中氣象部門(mén)的困境。

　　氣象數(shù)據(jù)要和行業(yè)數(shù)據(jù)、地理信息數(shù)據(jù)結(jié)合起來(lái)才更能發(fā)揮作用。例如，預(yù)報(bào)降雨對(duì)大壩的影響，就必須了解當(dāng)?shù)氐匦巍⒅苓呍O(shè)施、上下游情況等。

　　然而，數(shù)據(jù)不能充分共享以及共享渠道阻塞成為大數(shù)據(jù)時(shí)代下不可忽視的難題。“氣象信息、高精度的地理信息是受到法律保護(hù)的具有較高機(jī)密級(jí)別的信息。除此之外，各行各業(yè)都握有大量的行業(yè)數(shù)據(jù)，但這些數(shù)據(jù)往往局限在部門(mén)內(nèi)部，很難流通。” 唐千紅說(shuō)。

　　在一些西方國(guó)家，氣象觀測(cè)數(shù)據(jù)在進(jìn)行融合處理后會(huì)進(jìn)入信息數(shù)據(jù)庫(kù)，使用者可以根據(jù)自身的安全等級(jí)獲得相應(yīng)安全等級(jí)的數(shù)據(jù)，進(jìn)行延伸使用。      

　　“由此可見(jiàn)，將信息交予虛無(wú)縹緲的‘云’端，如何令有關(guān)管理部門(mén)和責(zé)任人確信這些數(shù)據(jù)是安全的，是打通數(shù)據(jù)孤島的必要科學(xué)性問(wèn)題。” 惠建忠說(shuō)。在大數(shù)據(jù)時(shí)代的推動(dòng)下，各部門(mén)終將走上互惠共贏、數(shù)據(jù)共享之路。

原文鏈接：http://www.cma.gov.cn/kppd/kppdsytj/201306/t20130627_217674.html