大數據“難題”凸顯 深度調研勢在必行
對于大數據,在被業界熱炒了幾年后,已經從空中逐漸落地,用戶的視角也從理解概念轉變到如何從業務、應用角度出發,讓大數據真正實現價值。
其實,大數據并不是一個新鮮的概念,它在物理學、生物學、環境生態學、自動控制等科學領域和軍事、通信、金融等行業的存在已有些時日。從本質上來說,大數據主要解決的是海量數據存儲、計算、挖掘、展現的問題,基于此之上可以誕生一系列應用或商業模式。
在目前階段,大數據解決的問題主要分為3類:
拓展傳統的商業智能(BI)領域。以前針對大數據量的統計、關聯分析、趨勢預測由抽樣變成全量分析,將數據回流到各種報表。
業務流程改進。對各種數據進行聚合分析,用來作為業務流程改進和考核的依據。
數據產品和商業應用。通過對已有數據或數據處理能力進行服務化或產品化包裝,形成數據產品或數據服務。
具體到實施層面大數據主要分為四個階段:
1、學習階段
2、探索階段
3、涉足階段(選擇幾個業務點,先期調研,嘗試落地)
4、執行階段(業務場景進入生產實踐)
由于現在大數據對于大多數用戶來說都是一個新鮮事物,也有很多隨之而來的業務模式創新和改變,因此很多用戶反映了不少困難和挑戰:
首先,因為大數據很大程度上是業務驅動的,同時實施周期跨度也比較長,更需要IT人員能清晰地描述出業務場景以及所具有的商業價值,從而獲得企業高層的支持。
其次,進入涉足階段的用戶則面對的是技術層面的挑戰,這可以細分為兩大類。***是技術技能,包括傳統數據倉庫的技能、新技術的技能(例如基于Hadoop的新技術、IBM的流計算等等)。第二是分析能力的挑戰,傳統的報表已經不能滿足分析的需求,未來用戶更需要一些實時分析、操作分析以及預測分析的數據。第三,落地核心業務的挑戰,此刻應該重視的就是數據的品質和真實性。
再次,在業務規模不大時,可以利用開源技術搭建起一整套數據處理系統。而隨著業務增長,就需要根據業務特色按需修改或開發一些滿足特定領域需求的系統。
***,在一些公司,業務急速增長和擴張,業務難點和技術難點同樣突出,例如數據源源不斷地產生,數據的質量、安全、成本該如何保障呢?前端業務庫的元數據變更會給后端的數據處理造成什么后果?這些問題處理得不好很容易功虧一簣,讓數據成為一堆大垃圾和高成本的企業負擔。
正是看到了這一系列的挑戰和困難,也為了幫助當前中國大數據市場用戶梳理當前中國市場大數據提供商的紛繁萬象,從中發現各個方案的價值所在,中國賽迪采用了全新的評價方式,從用戶的核心關注和解決方案提供商的供應能力及價值出發,以重點行業為基礎(包括智能城市、電信、金融),開展了一個關于大數據挑戰困難的調查,以期更好地推動政府、企業、個人用戶加速大數據應用。