信通院魏凱主任:完善大數據產品技術標準,推動建成數據強國
2018年11月30日,由數據中心聯盟組織(Data Center Alliance,以下簡稱“DCA”)實施的第七批大數據產品評測結果評審會圓滿結束,共計28家企業的46款/次產品通過了本次測試評審。截止到目前為止,通過DCA大數據產品能力評測的產品數量累計達到134款/次,涵蓋了分布式批處理平臺、分布式分析型數據庫、分布式事務數據庫、時序數據庫、用戶行為分析解決方案、數據挖掘工具、數據集成工具、數據管理平臺,以及商務智能(BI)分析工具。
中國信通院云計算與大數據研究所主任魏凱
作為本次評測項目的主要負責人之一,中國信通院云計算與大數據研究所主任魏凱在接受筆者采訪時表示,經過4年的發展,“DCA大數據產品能力評測”已經成為國內外***權威的評測體系,成為廠商產品研發和用戶采購選型的風向標。他表示,通過“DCA大數據產品能力評測”建立一套行業準則,讓企業知道如何做,讓用戶知道怎么選。同時,促進大數據廠商之間的技術交流,提高中國大數據行業的整體技術水平。
建立大數據產品技術標準,為數據強國提供基礎支撐
當前,數據已經成為推動企業創新,加速企業發展的核心推動力。隨著企業數據化轉型的進一步加速,數據量呈現出爆炸式增長的態勢,如何利用先進的技術,完成數據的獲取、篩選、分析、存儲,管好用好數據,發揮數據價值,成為擺在企業面前的主要難題。
魏凱主任告訴記者,五年之前國外的一些企業就已經開始著手大數據技術的研究,谷歌還提出了數據管理的三大技術,但是當時國內沒有一家大數據的技術公司。2015年,國家正式提出了《促進大數據發展行動綱要》,其中有一條非常重要的內容就是要推動扶持、支持國內企業研發數據管理技術和產品,把大數據能力補上來。
那么,大數據技術需要具備哪些能力呢?魏凱主任表示,大數據技術必須要有一套行業的標準,讓企業知道如何去做,讓用戶知道怎么樣去選,只有建立一套標準的產品說明書,才能讓企業與客戶之間流暢的溝通和采購,減少摩擦。而信通院扮演的角色,就是建立一套大數據產品技術標準,解決企業與用戶之間“采”與“銷”的難題。
據魏主任介紹,“DCA大數據產品評測”主要有三層意義:
一是建立一個技術交流平臺,通過測試將國內大數據廠商聚集到一起,促進他們之間的交流與溝通,提高國內大數據整體的技術水平。
二是建立一個標準的產品,形成大數據行業的統一認知。標準不是規定廠商必須怎樣做、而是把權利交給客戶,讓大數據廠商必須告訴客戶是怎么做的,并監督驗證是不是按照標準去做,給產品提供足夠的創新空間。
三是打通“采銷”通道,讓甲乙雙方根據實際需求選擇適合自己業務的產品。
魏主任表示,在 “DCA大數據產品評測”過程中,通過各方相互研討,相互交流經驗,討論如何調優、如何把性能做到***等,并通過動手實踐、經驗分享的形式,提高大數據行業的整體水平。
據了解,本屆大數據產品評測吸引了眾多企業的參與,除了大數據技術標準委員會中120家會員之外,還吸引了很多非會員類企業的參與,其中即包括銀行、政府、央企等對甲方客戶,還包括專注于大數據產品的垂直企業。
以場景應用為重點,助力大數據應用落地
任何一個單一的產品和技術都不可能滿足所有客戶應用場景需求,大數據產品也不例外。雖然Hadoop已經在很多企業大規模應用了,但在一些細分場景下仍然不夠優秀,One size does not fit all。因此大數據技術產品發展的一個趨勢是逐步細分。魏主任告訴筆者,與往年相比,今年參與大數據產品評測的產品類型越來越豐富,針對不同場景應用的大數據產品越來越細分。
據魏主任介紹,今年的評測新增加了商務智能和數據挖掘這兩個平臺,一個是做報表的,另一個是做機器學習建模的,特別貼近客戶應用層,稍微進行簡單的培訓,就能上手。魏主任表示,Hadoop要用Java寫MapReduce程序,可是很多企業根本沒有IT人員,怎么編程序?這就大大增加了企業的使用門檻。如果將一個圖形化的大數據軟件交付給用戶,只需要拖拖拽拽的操作即能夠實現大數據能力,那么企業就可以將更多的精力用到產品的技術研發上,從而減少運營實施的壓力。筆者觀察發現,今年參評的大數據的產品大都提供了可視化的管理界面,例如國雙參測的5款大數據產品,全部提供可視化的管理平臺,大大減少了用戶的使用成本。
除了新增加的兩個平臺之外,今年數據規模也變得越來越大。據了解,今年的大數據產品評測不但測試了管理上萬臺機器的能力,而且數據量***也達到了100TB,已經達到了世界***的水平。以國雙并行數據倉庫系統 (Gridsum ZETA PDW)為例,這個唯一一個通過分布式分析型數據庫性能評測的產品,在Hadoop性能測試中,TB級數據量下部分SQL執行時間可低于10秒鐘,海量數據檢索速度也比較領先,為此奪得了SQL性能測試***名。
魏主任表示,越來越豐富的產品類型和規模越來越大的數據量,充分驗證了國內企業在大數據技術上的實力,同時,也很好的考驗了企業技術團隊的協作配合能力,這足以證明了在大數據軟件方面,國內的企業已經達到世界先進水平,而通過緊貼行業需求的大數據能力測試,很好的推動了大數據技術的發展,為大數據在各行各業、各種場景中應用落地,奠定了堅實的基礎。
強化數據資產管理,發揮數據核心價值
上周,由中國信息通信研究院、中國通信標準化協會主辦的“2018數據資產管理大會”在京召開。會上,主辦方為國雙等通過第七批大數據產品評測的企業和產品頒發了評測證書,并圍繞數據資產管理這一話題,進行了深入的交流與討論。
之所以叫做“數據資產管理大會,”它不再僅是大數據技術的一次峰會,不僅僅包含數據存儲、計算、分析等技術層面的討論,更是將數據管理納入之中,就企業如何管好用好數據資產,如何提高數據質量,如何提升數據安全等多方面多維度展開討論。
談及數據資產的管理,魏主任表示,雖然技術產品非常重要,但數據資產的管理同樣重要。如何做好數據資產的管理,讓數據真正為我所用,并不斷提高數據的質量和安全,這是每一家希望邁向數據驅動的企業的必修課,也是一個長期的過程。他強調,隨著數據量的不斷增長,數據規模越來越大,管理難度不斷提高,因此數據管理必須建立一個制度,形成一套規范,只有這樣才能夠讓企業真正掌握數據,發揮數據的***價值。
除了數據資產的管理,數據的流通也是本次大會討論的一個重要主題。因為只有讓數據流動起來,才能產生價值。但是,由于數據的敏感性,流動的風險特別大,阻力也非常大,特別是數據在跨企業之間的流通,到目前為止仍然沒有一個標準和規則。魏主任告訴筆者,中國信息通信研究院正在與各種組織著手研究數據流動的問題,正在組織相關機構一起制定一套“可信數據服務”規范,讓數據在法律規范之下有序流動起來,真正的發揮數據的價值。
“數據管理是一個非常復雜的過程,不可能一籌而就。下一步,中國信息通信研究院作為標準制定和評測的牽頭單位,以中國通信標準化協會為平臺,與學術界、產業界和領域用戶緊密合作,不斷完善大數據產品技術標準評測基準,推動我國大數據產品技術水平不斷提升,為數據強國提供強有力的基礎支撐。魏主任如是說。