地面觀測數據要求永久保存 傳統IT架構不能支撐

國家氣象信息中心副總工程師沈文海在接受記者的采訪時說，目前整個中國氣象局所保存的數據在4~5PB左右，每年大概增加數百個TB左右。“這些數據包含了地面觀測、衛星、雷達和數據預報產品等幾大類的觀測數據。”

[[110195]]

國家氣象信息中心副總工程師沈文海

其中，地面氣象站觀測所獲取的數據是需要永久保存的，其使用率非常高，除了常規天氣預報業務需要用到之外，諸如氣候預測、氣象農業、環境氣象、交通氣象以及科研等領域，都需要用到這些數據。

“另外，除了常規的地面觀測站之外，以氣象衛星和多普勒天氣雷達為代表的遙感遙測業務領域近三十年來取得飛速發展，這些領域一方面每天產生著數以TB級的觀測數據，另一方面也需要地面觀測等實測數據作為其遙感數據的訂正依據。”

沈文海告訴記者，這里的地面/高空觀探測數據為結構化數據，氣象衛星、天氣雷達數據則為非結構化數據。以這些數據為主，構成了所謂的“氣象大數據”，雖然“氣象大數據”與目前業界公認的以“4V”為特征的大數據的存在一定差異，但數據量的巨大以及迅速膨脹的速度則是十年前完全無法想象的。

比如：地面氣象觀站數量的急速增加。目前，我國地面觀測臺站已達到約4萬個，遍布我國各個地區。由于自動觀測技術的發展以及地面自動氣象站的推廣普及，使地面觀測業務擺脫了人工觀測所帶來的對觀測人員居住環境的要求，觀測站點可布設到許多環境十分嚴苛的地域，如：荒島、沙漠、高原等。同時由于是自動觀測，不受人員編制的束縛，可在任何需要布設的地域布設，因此觀測臺站數量逐年增加，預計到2020年，地面觀測臺站有可能發展到七萬個左右。

另外，從觀測頻次上看，上世紀五十年代到九十年代是每三小時觀測一次，經過近十幾年業務規范的不斷修訂，觀測頻次逐步修訂成數年前的每10分鐘觀測一次以及目前的每5分鐘觀測一次。“但這遠遠不夠，按照氣象現代化的發展要求，不久的將來地面觀測的頻次將達到一分鐘一次。”沈文海說，觀測臺站數量的增加和觀測頻次的增加，使得地面觀測數據成為“氣象大數據”的典型。

而地面觀測數據的結構化數據使用特征，使得其從最初的信息采集和傳輸，到信息加工處理、存儲管理以及最終的提供服務等各個環節，都對氣象IT業務提出了嚴峻挑戰。比如在數據檢索上，傳統的技術架構，已難以滿足大量數據信息檢索時效的需求。

大數據和云計算帶來的是一種新的解決思路。沈文海在采訪中說，雖然氣象部門還沒有充分做好迎接大數據浪潮的準備，但是大數據和云計算帶來的新的理念和技術架構卻會給這個領域的IT建設一種新的思路和方向。

縣級氣象業務面臨改革

沈文海告訴記者，這么多年積累下來作為基層氣象單位的縣級氣象局都都或多或少地積累起一些計算機設備，而這些設備彼此是并不相關的、能力也參差不齊。究其歷史根源，是因為縣級氣象局近幾十年來根據當地社會和政府的氣象服務需求、依托各種建設項目，不斷地開發建設適應當地服務需求的業務系統，提升自身的氣象服務能力。

而氣象業務系統是典型的信息系統，因此這些業務系統建設幾乎無一例外的都是信息系統建設。“這些業務系統的建設時期不同，功能彼此不同。傳統的做法是一套系統配置一套設備”沈文海解釋到，因此會形成我們前面提到的參差不齊。

另外，由于業務系統在運行時需要大量相關的觀探測數據、預報產品等做支撐，因此在縣級氣象局諸多業務系統中，還配有一套具有一定規模的數據接收、管理和服務系統，以向各業務系統提供數據支撐。“由于縣氣象局業務繁雜，人力資源緊張，這些業務系統的日常維護逐漸成為不少縣氣象局日益沉重的負擔。”沈文海介紹道。

為此，2011年起，中國氣象局啟動了“縣級氣象業務綜合改革”工作，目的在于全面提高做為基層氣象業務單位的縣級氣象局服務當地社會和政府的業務能力。改革的內容很多，其中包括對縣級業務信息系統的規范、整合、改進和功能加強。改進后的縣級綜合業務系統集成度會有很大的提高，然而其需要的數據種類、數量和時效也大幅增加；于是縣一級業務系統的運行模式，尤其是是否在縣氣象局建立規格較高的機房（即所謂的“數據中心“）便成為討論甚至爭論的焦點之一。

數據中心改革的兩個選擇

提到這個爭論，一開始曾經相當激烈。沈文海介紹說，爭論焦點主要集中在整個氣象部門的數據中心的布局，而布局的方案則由縣級業務系統的運行模式而決定，即：

選擇一：延續原有思路，所有業務系統仍然在當地運行，于是服務器系統、數據庫系統、網絡系統、通信系統等均需要配置在當地；由于這些設備對環境條件有一定的規范要求，因此必須在當地建立起相應的能夠滿足設備正常運行所需環境條件的場地環境，即所謂的“數據中心“（機房），也就是“將數據中心建到縣氣象局”。

選擇二、改變原有思路，將縣級業務系統的運行地點集中到省氣象局，由專業技術水平較高的省氣象信息中心負責運行維護?？h氣象局業務人員負責提交指令，獲取結果。也就是：“把數據中心建到省氣象局，實現業務系統在縣氣象局的終端化”。

“第二套方案的好處是顯而易見的，”沈文海描述到，“其最明顯的好處之一就是縣級氣象業務系統的零維護”。

“然而前景美好是一回事，能否實現則是另一回事。以數據環境為例，將省內百余個縣的數據環境全部集中到省氣象局，由有限的幾個數據庫管理數百萬計日增量的結構化數據以及十數TB級非結構化數據，并提供全省所有地市和縣局的業務支持，目前相對傳統的技術架構，是無法做到的。” 沈文海補充到。

云計算和大數據的到來，為第二套方案提供了可能。

沈文海說，為給第二套方案打通技術道路，國家氣象信息中心于2013年初開始，著手考慮對調整現有IT架構的探索。“我們主要考慮分布式存儲和分布式處理的技術，尤其是分布式關系型數據庫技術。當然其中虛擬化和云計算的某些技術是必備的。”沈文海透露，目前經過測試，一些主要指標已經能夠滿足第二套方案所需要的處理和檢索性能需求。

“我們對第二套方案越來越有信心了”沈文海介紹到。據了解，如果一切順利，依照計劃，第二套方案將會在2015年年底前全部完成。

在交談過程中，沈文海一直對“氣象大數據”一詞的使用十分謹慎，他解釋說，氣象部門的“大數據”主要產生于“感知”領域，所謂“氣象大數據”主要是指氣象探測數據。而氣象探測數據是那些能夠反映氣象狀態的數據，其內在信息范圍是相對固定的。

此外，氣象觀測數據雖然體積巨大，卻是基本可以實時處理以獲取內在信息的。這些都與目前業界公認的“大數據”特征存在較大差異。如何將“大數據”的理念和方法運用到氣象觀測數據中，使之發揮出更大效益，正是目前正在思考和探索的主要問題之一。