數據中臺“熱”下的“冷思考”
一、數據中臺是真的“熱”
在2018年之前可能只有一少部分人在談“中臺”,從2018年下半年開始,隨著“BAJT”這些互聯網頭部公司的追捧,“中臺戰略”在中國迅速火了起來。2019 年的科技圈,最火概念之一就是「數據中臺」,也有人將2019年稱之為「數據中臺」的元年。
2018 年 9 月,騰訊宣布新成立云與智慧產業事業群(CSIG)和技術委員會,后者將負責打造技術中臺。
2018 年 11 月,阿里云事業群升級為阿里云與智能事業群,并開始對外輸出中臺能力。
2018 年12月,百度調整組織架構,由百度創始人、董事長李彥宏發信宣布:“百度將打造AI時代最領先的技術平臺,實現前端業務和技術平臺的資源高效統籌及組織全面協同。”
緊接著,2019年初,京東集團人力資源部發布關于京東商城組織架構調整的公告,公告內容稱:“在新的組織架構下,京東商城將圍繞以客戶為中心,劃分為前中后臺。中臺為前臺業務運營和創新提供專業能力的共享平臺職能。”

據知名調研機構Canalys2019年2月的相關數據報告,2018年全球云計算市場規模突破800億美元,達到804億美元,未來10-15年,“數據中臺”也許會超越今天的云計算市場,形成一個萬億級市場,同時中國也將誕生1—2家SAP級別企業。
這股數據中臺熱,讓很多科技企業都看到了這個「風口」,相繼開啟了數據中臺的市場爭奪戰,都希望成為那頭站在風口插上翅膀的「豬」。在這股數據中臺熱之風之下,很多企業也都躍躍欲試,希望借助數據中臺驅動企業管理和業務創新,譜寫出一個造富神話。
二、數據中臺是什么?
- 有人說:數據中臺就是一個加強版的數據倉庫;
- 有人說:數據中臺是大數據平臺的延伸,是大數據的下一站;
- 有人說:數據中臺是數據資產的治理和應用的平臺;
- 有人說:數據中臺是提供場景驅動的數據API、智能API的能力平臺;
- 有人說:數據中臺是對內進行數據共享、對外提供數據開放的數據服務平臺;
阿里的客戶畫像、產品推薦引擎,強調“千人前面”。在筆者看來「數據中臺」也應當是“千人千面”的,以上對于說法都有道理,都正確,只是在不同的應用需求場景下的不同定義而已,不同的行業、不同的企業、不同的業務,所需要的數據中臺并不同。

三、什么樣的企業需要數據中臺?
要說清楚哪些企業需要數據中臺,我們不妨先看看都哪些企業在做數據中臺。
如上文,數據中臺的主要推動力量首先是“BAJT”這些互聯網頭部公司;其次,部分大金融公司,例如興業銀行也在調整組織架構,建設數據中臺、推動“互聯網+金融”的落地;第三,還有一些大型快消品的零售企業正在進行數據中臺的探索,例如:百果園、耐克。我們不難發現不論是互聯網公司、大型金融企業(銀行、保險公司)還是大型的零售企業,他們都有以下幾個共同的特點:
1、互聯網+
金融公司、品牌營銷企業、電信運營商、大型零售企業,以及BAJT等互聯網公司,這些企業不是原生的互聯網企業就是通過轉型基于互聯網來開展業務的企業。基于互聯網開展相關的業務,尤其是移動互聯網的應用為企業的需求端(市場和銷售)帶來了更多的機遇和挑戰。互聯網+,讓企業有了驅動創新、跨界融合、重塑生態的可能,企業將可共享業務能力的提煉和可沉淀的數據資產放在一起,構建數據中臺,以應對前端多變的競爭環境。數據中臺的建設對互聯網+下的企業人才、組織、服務、產品以及商業模式的創新、企業跨界融合和產業鏈的打通,重塑企業競爭生態將起到基礎支撐作用。

2、數據量大
不論是金融、保險、證券、電信運營商這類大型企業,還是不“BAJT”這類大的互聯網公司,他們都是IT建設較早、多年來沉淀了大量的數據資產。如果要給這類企業打個標簽的話“大數據”無疑是其中一個重要標簽,此類企業的日產生數據量是以每天TB級別計算的;而這些數據來源也比較復雜,有的是來自企業內部的各相關系統,有的是從外部采集/采購過來的數據;數據形態是多樣的,呈現出結構化/半結構化/非結構化數據,實時/非實時數據并存的狀態。企業需要通過對數據進行加工處理,形成高質量的數據服務,賦能業務、突破業務瓶頸,驅動業務創新、釋放數據價值,數據中臺無疑是這類企業非常合適的解決方案。

3、IT能力強
企業的IT能力主要從三個方面評價,①IT基礎設施的建設情況,網絡、云計算、應用系統的建設情況;②IT組織與人才隊伍建設情況,IT人員占比、能力分布;③IT規模、信息化應用水平以及ROI等。大概在8年前,工商銀行在實施統一開發平臺時,當時的IT技術人員規模就有2000多人,為工商銀行提供開發、實施、運維等IT服務。這2000多人包括了工商銀行自身的IT團隊和外包的信息化人員,從IT人員占比上來說像工商銀行這樣的企業就不是普通企業能夠比擬的。對于互聯網公司,可以說至少80%以上都是IT人員。所以,不論是金融、運營商還是互聯網公司,這些企業自身的IT能力都特別強,強大的IT能力有利于推動IT架構的改進和共性能力的沉淀。

4、組織機構靈活
企業建設數據中臺,最核心的是在企業級復用數據中臺的服務能力和共享數據,而這些服務能否被有效復用,數據能否被有效共享,很大程度上取決于企業文化和組織體系的建設。筆者曾經接觸過一個國內大型集成商企業,工作原因和該企業的多個部門都一些的往來,發現這家企業的每個部門都在搞自己的一套“基礎技術平臺”(可以理解為現在的技術中臺)。對于“基礎技術平臺”他們各部門的定位和理解是比較一致的——提供各種底層基礎功能,為業務應用的開發提供支撐。但每個部門都有自己的想法,搞法也不相同,有的是自己招人建團隊在做,有的是采購第三方供應商產品。這家企業是典型的組織層級較深,組織間各種為政,這與“數據中臺”要求的靈活的組織體系是不符的,在不調整組織架構的情況下,“數據中臺”也很難在該類企業落地。

四、數據中臺的演進史
按照著名的“諾蘭模型”,「數據中臺」的產生并不是意外,而是信息技術發展的必然產物,而「數據中臺」也并非是一個新生的事物,按照「中臺」的核心思想“提供共性能力和共享數據的服務平臺”,不論是傳統的SOA、還是數據倉庫,其本質的思想并沒有改變,只是隨著技術的發展,時代賦予了「數據中臺」的能力和職責更為明確和智能了。

按照“諾蘭模型”,「數據中臺」的演進經歷了以下階段:
1、單體應用期
數據業務化并不神秘,它就是我們常說的信息化時期,這個時期是企業信息化從起步到建設的時期,會計電算化(核心是財務系統的建設)、辦公自動化(核心是OA系統的建設)、企業資源規劃(ERP系統的建設)……都是這個時期的產物。隨著信息系統的建設和應用,數據也在企業逐步沉淀了下來。
信息化初期,數據庫是「數據中臺」的原始形態,為應用系統的提供數據的存儲。
2、數據集成期
隨著信息系統的建設和應用,人們發現一個問題:以前的系統建設都是業務部門驅動的,缺乏整體的規劃,各系統各自為政,標準不統一,形成了一個個煙囪式的孤島。企業業務的發展需要各應用系統的協同,然而各系統從服務、流程、數據等層面都是割裂的,根本無法協同。領導想看企業的經營指標,需要切換到不同的系統才能看到,十分繁瑣且報表質量無法保證。于是,就出現了以SOA為代表的各類系統集成工具和數據管理系統,例如:Potal、ESB、BPM、DW、ETL、MDM等。
信息化中期,「數據中臺」的初步形態已經顯現,并表現為:以Potal、ESB、BPM為代表的企業級應用集成;以主數據管理(MDM)、元數據管理為代表的數據治理;以數據倉庫為代表的數據集中處理和初步的數據分析;SOA系列產品和工具的使用,一定程度上解決了企業的業務協同和報表分析的問題。
3、數據平臺期
隨著物聯網、社交網絡、云計算等技術不斷融入我們的生活以及現有的計算能力、存儲空間、網絡帶寬的高速發展,人類積累的數據在互聯網、通信、金融、商業、醫療等諸多領域不斷地增長和累積。互聯網搜索引擎支持的數十億次web搜索每天處理數萬TB字節數據。全世界通信網的主干網上一天就有萬TB字節數據在傳輸。現代醫療行業如醫院、藥店等也都每天產生龐大的數據量如醫療記錄、病人資料、醫療圖像等。數據的量級不斷升級、應用的不斷深入和大數據不可忽視的價值讓我們不得不探索如何才能讓我們更好的受益于這些數據。阿里巴巴馬云指出:“人類正從IT時代走向DT時代!”。但隨著數據越來越多,人們意識到,數據標準的不統一,垃圾數據的存在,讓系統集成起來困難重重,分析結果無法保證。終于,有人提出:大數據也許并非是企業資產,如果不將數據治理做好,大數據只會是企業的包袱(數據的存儲、處理、管理維護都需要成本),而只有“數據資產化”才能為企業帶來價值。
信息化末期,人類正從IT時代走向DT時代。以Hadoop平臺、Spark平臺等為代表的大數據平臺在解決企業大數據的存儲和計算上提供基礎支撐;以元數據驅動的大數據治理平臺實現大數據地圖的自動生成,數據血緣分析、影響分析,一定程度上解決了大數據環境下的數據質量問題。
4、智慧應用期
在信息化時代,IT在企業中一直起的是業務支撐的作用,扮演的是配角的角色,當然互聯網公司除外。而當企業進入數字化時代,企業的業務和管理是一切看數據說話,看數據作業、看數據決策,數據是驅動整個企業的業務和管理的基礎引擎。IT的角色從配角走上了主角的舞臺,“IT即業務”。進入數字化時代,企業對于用數需求越來越高:以往看不見的數據,現在希望隨時隨地實時查看;以往可能需要在不同系統才能看到的數據,現在希望能夠組合成一個場景進行展示;以往決策分析必須要到BI系統中看報表,現在希望在業務流程環節就能夠展示相關的數據報表;以往的數據分析只能是對歷史數據的可視化展現,做好一點的能夠診斷部分業務問題,現在不僅需要看到歷史的數據、業務問題分析診斷,還要能夠對未來即將發生的事進行預測……
數字化時代,「數據中臺」繼承了大數據平臺的海量數據存儲和技術的能力,提供數據算力服務;繼承了元數據管理、主數據管理的數據治理能力,提供數據資產的全生命周期管理服務;繼承了數據倉庫的數據集成和分析能力,提供數據報表、數據分析服務;同時,「數據中臺」內置的算法中心、標簽體系,提供各種AI服務,支持將數據場景化、智能化,全面驅動企業的業務智能、決策智慧,幫助企業實現數字化轉型。

五、你的企業真的需要數據中臺嗎?
我們看到目前追捧「數據中臺」的互聯網公司、金融公司、運營商、大型零售企業,他們有四個共同的特點:互聯網+下需求端的業務多變;數據體量大;IT能力強;組織機構靈活。
- 有人問:“我們企業數據量沒有那么大,IT人員沒那么多,組織模式也比較固定,那我們是否需要建設數據中臺?”
- 有人問:“我們企業已經建設了數據倉庫,實現了數據服務和數據分析,還有必要建設數據中臺嗎,需要怎么建、推到重來嗎?”
- 有人問:“我們企業是工業生產企業,數據量是大,但多數是設計圖紙等非結構化數據和生產設備的邊緣數據;我們的產品屬于賣方市場,產品不需要通過互聯網銷售,需求端的變化不大,那我們是否需要數據中臺?”
我們帶著這些問題,我們回到本文的主題:數據中臺“熱”下的“冷思考”。之所以“冷思考”,就是不能人云亦云,盲目跟風,而是要謹慎思考和對待。
- 數據中臺建設不是“照葫蘆畫瓢”生搬硬套,不同性質、不同領域的數據中臺能長的一樣嗎?顯然不是!
- 數據中臺建設需要將之前信息化建設成果推翻,重頭構架?浪費資源!
- 數據中臺建設采購一套強大功能的數據中臺產品就能包治百病?哪有那么好的事!
從「數據中臺」的演進史來看,它是信息化發展的必然產物,或許「數據中臺」是每個企業都需要的,只是不同的行業、不同的企業、不同的業務,所需要的數據中臺并不同。互聯網企業的數據中臺再牛也并不一定適應傳統工業企業;而工業互聯的大數據平臺卻也是數據中臺的一種形態或基礎能力;數據中臺的建設,技術和工具固然重要但也不能過于迷信;企業建設數據中臺還是應當從企業的業務需求出發構建與企業相匹配的一套數據應用的流程機制。
作者:石秀峰 專注于數據領域知識分享:數據治理,數字化轉型,數據分析等