2016年7月17號在北大舉行的第五屆中國大數據應用論壇上，中國新一代IT產業推進聯盟技術分委會秘書長魯四海做了題為《大數據技術及行業應用》的分享。他分享內容分為三個部分：***，行業的趨勢、技術發展是什么樣的;第二大數據在傳統行業落地的困難，大數據要用起來最終還是落在傳統行業，因為IT技術的發展不能自娛自樂;第三，傳統行業如何落地大數據。

[[169129]]

首先來看，現在的大數據產業正在發生著哪些變化。***，***數據官開始崛起。第二，可視化是推動大數據普及的一個重要的手段。大數據的真實用戶，我們認為是業務不應該是IT人員。第三，大數據還有一個趨勢就是智能化嵌入，一個是終端的嵌入，一個是在服務端的嵌入。第四是機器學習迎來上揚的趨勢，它已經是未來數據準備和預測分析的必要工作。第五，開源應用會持續加速。第六，數據服務逐漸形成發展規模，這個主要有三個原因：一是數據這個事我們沒有必要做一些重復的工作;二是數據服務促進共享。三是擁有數據的企業找到了一種創收的方式。第七，算法市場正在興起，數據要去解決問題，中間需要一個算法模型來支撐。第八，互聯網、金融、健康保持熱度，智慧城市、企業數據化、產業互聯網將成為新的增長點。

從前面的趨勢我們也可以看出，傳統行業將是大數據的主戰場。數據對傳統企業的巨大價值不用贅述，具體體現在四個方向：一是在決策模式上，在數據這個時代，以從流程為中心轉向數據為中心;二是運營模式上，不再是以產品和服務為中心，轉向以用戶為中心;三是協作模式上面，原來是以供應鏈為基礎的，現在是生態鏈為中心。四是企業組織模式上，原來是以層級為中心，現在是以員工為中心。

傳統行業落地大數據的挑戰

但是傳統行業落地大數據也是有很多挑戰的。比如我們之前在做咨詢過程當中就遇到過這樣的情況。有的IT項目交付的時候被推倒重來，大數據項目也可能出現這種情況。一個是需求之前是不準確的，二是我們這個系統建設速度跟不上需求的變化。?

都說大數據的是驅動創新的***方式，其實創新還是有蠻多坑的。比如說，這兩年大家都在講小米的參與感。都去學人家微博微信的營銷，然后以對人家的微博微信進行數據分，然后套到自己的產品上，結果一點成效都沒有。但人家走量最多的紅米首發選擇了QQ空間，也得到了QQ空間的大力支持。依據數據創新***的風險在于，認識片面性和數據片性。

有的企業會通過投資收購方式去發展公司業務，投資者們達成明確而廣泛的共識，差不多很多時候都是錯的，因為大家在追逐熱點，熱點就有可能導致說大家都過獨木橋。其實很多時候是在做重復性的研究，這個產業我們需要協作。

其實數據是很核心的一塊，我們做大數據首先解決數據的問題。數據分成兩塊來看，分為內部和外部。內部的數據，一個是現在還有沒有數據。我們剛才聽到了去哪兒網可以通過一些技術手段，收集他的數據。那么一般的組織是不是能夠達到呢?再就是數據質量如何。數據的質量就要分成兩塊，數據的有用性和數據的可用性。?

談完數據就討論技術，目前我們問三個問題，你的技術路線，走開源的還是閉源的。第二是私有部署還是使用SaaS的工具去解決你的問題。第三這點更細節，走Hadoop還是走MPP這條線，這跟企業數據特點是有很大關系的，比如說你的數據以結構化為主的，那MPP的模式就更適合你。

技術真的只是工具，數據其實是大數據分析過程當中的材料。只有材料、只有工具這能做出產品么?不行的，還有一個東西，它需要配方、需要生產的方法，這個就是算法模型。但是算法模型有幾個問題一是對于法的人要求非常高;需要做大量的訓練;你開發出來一個模型之后，應用效果也需要檢驗。

團隊，至少有三個方向，首先是業務專家，他解決的問題是數據的可用性。然后就是IT專家，那樣解決怎么存數據、獲數據、管理數據。還有就是統計專家，他去開發一些模型。目前是這幾種比較存在形式。還有一種是技術導向型的，再一個是以應用、業務為導向的。

如果完全自建團隊，團隊建設周期需要考慮;如果是合外部服務商一起合作，那么服務商的選擇就極其重要了，在大數據初級階段，大數據企業良莠不濟。

傳統行業如何落地大數據

前面說到大數據應用的主戰場是傳統行業，面對這么多的挑戰，如何讓大數據落地，核心是三個問題：未來走到哪里，從哪里開始，演進步驟是啥。

我們先看未來走到哪里。大數據的發展最終是智慧化，所以未來應該是以服務的方式嵌入到具體的業務中去。所以未來企業都應該有一個大數據服務平臺，這個大數據服務平臺通過實時的計算處理，實時響應各業務系統所需要的數據服務。大數據服務平臺需要的數據、算法模型又從哪里來呢?答案就是大數據分析平臺，分析平臺包括數據準備、存儲管理、計算處理、分析挖掘、人機交互等內容。也就是從未來的企業大數據平臺包括大數據分析平臺和服務平臺。分析平臺著重是離線數據的加工處理、算法模型的研發以及實現挖掘結果的交互;而服務平臺著重在在線數據服務，直接為各業務環節提供在線的數據服務。如下圖所示：

企業級大數據應用邏輯架構參考圖

要實現這樣的大數據架構，難度、復雜度都非常高，所以需要分步實現。有觀點說先把大數據分析平臺建起來，按照數據準備、存儲管理、計算處理、分析挖掘、人機交互一層一層地建，然后建設數據服務平臺。這種方式從技術的角度看是非常***的，但實際操作難度大，而且容易出現平臺使用率偏低的問題。原因主要有兩個：一個是信心，一個數據。先說信心，這種方案前期大量的基礎建設，在人、財、物上大最的投入，卻看不到應用效果，同時在看不到效果的情況下要求業務部門進行大量的配合工作，都會讓大家信心、動力不足。數據，這各路方案比較重視基礎能力建設，但是現在是不是數據能夠接入進來，取決于兩個面，一企業內部數據化是不是達到一定的基礎，二外部數據是不是已準備好了。我們認大數據落地應該是融入到業務場景里面去的，通過對一些企業大數據應用的調研，我們發現大數據應用可以分為這感知、探索、起步、發展、融合這五個發展階段。如下圖所示：

大數據應用5個演進階段示意圖

感知階段，通過引入一些外部咨詢、數據服務讓整個組織感知大數據對業務發展的作用，通過培訓提升組織對大數據的認識。然后在內部實現一些簡單的報表實際應用到業務中去。

探索階段，建設輕量級數據分析平臺，實現核心業務數據分析，從而推動組織內部的數據化。開始數據應用、團隊建設等方面的探索，可以引入外部團隊進行數據戰略的規劃。

起步階段，拓寬數據分析應用范圍，在織織數據化發展到一起基礎的前提下，建設數據治理體系，著手建設企業級大數據分析平臺。

發展階段，推動組織內部全面數據化，建設面向業務用戶的大數據分析平臺。如果說起步階段更多是IT部門的參與，為業務部門所需要的數據服務還更多需要IT部門的配合;發展階段業務部門將有更多的自主能力，IT部門更多進行后臺支持，進行數據質量、平臺的維護。

融合階段，是大數據應用最終目標，通過數據服務平臺的建設，將數據服務融合到業務各個環節，實現用數據驅動業務。

***給大家幾點建議：?

***，制定數據戰略。這個戰略不僅僅是口號，應面巾是有相應的機制、制度出來。?

第二，建立數據化計劃。首先得有數據，要把企業實現數據化之后才能更好的做數據的分析，而且在這個過程當中很重要的一點是要保證數據的質量。?

第三，建立數據平臺。重點考慮，這個數據放到這之后能夠找得到，還有就是被讀得懂;重客戶參與，讓業務人員參與進來。?

第四，量體裁衣建立數據團隊。?

第五，定制好外部數據服務戰略。?

第六，活數據，動態模型。只有動態更新的數據才是最有價值的數據。模型上也要下功夫，數據是材料，平臺是機床，而算法模型則是生產方法和工藝，是競爭的核心。

魯四海還是***數據官聯盟發起人，在分享中也提到他們7月14號發布《中國大數據企業排行榜》，包括有產業地圖、行業分析、大數據企業評價指標體系和五十多個維度的排行榜，為各位在選擇大數據技術路線、產品、服務選擇以及服務商判斷方面提供一些參考。