終于有人把數(shù)據(jù)中臺講明白了
一、數(shù)據(jù)中臺定義
數(shù)據(jù)中臺是一種將企業(yè)沉睡的數(shù)據(jù)變成數(shù)據(jù)資產(chǎn),持續(xù)使用數(shù)據(jù)、產(chǎn)生智能、為業(yè)務(wù)服務(wù),從而實現(xiàn)數(shù)據(jù)價值變現(xiàn)的系統(tǒng)和機制。通過數(shù)據(jù)中臺提供的方法和運行機制,形成匯聚整合、提純加工、建模處理、算法學(xué)習(xí),并以共享服務(wù)的方式將數(shù)據(jù)提供給業(yè)務(wù)使用,從而與業(yè)務(wù)聯(lián)動。
再者,結(jié)合業(yè)務(wù)中臺的數(shù)據(jù)生產(chǎn)能力,最終構(gòu)建數(shù)據(jù)生產(chǎn)—消費—再生的閉環(huán)。為了更好地理解數(shù)據(jù)中臺,我們將其與數(shù)據(jù)倉庫、數(shù)據(jù)湖、BI、大數(shù)據(jù)等相關(guān)概念進行對比。
1. 與數(shù)據(jù)倉庫的對比
數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。因此,其重點在于數(shù)據(jù)的集合。數(shù)據(jù)倉庫可使用維度建模方法論從業(yè)務(wù)過程中抽象出通用維度與度量,組成數(shù)據(jù)模型,為決策分析提供通用的數(shù)據(jù)分析能力。
數(shù)據(jù)中臺與數(shù)據(jù)倉庫相比,至少有四大優(yōu)勢。
第一,數(shù)據(jù)中臺強調(diào)數(shù)據(jù)業(yè)務(wù)化,讓數(shù)據(jù)用起來,滿足企業(yè)數(shù)據(jù)分析和應(yīng)用的需求。
第二,數(shù)據(jù)中臺梳理的流程比數(shù)據(jù)倉庫建設(shè)更加復(fù)雜和全面。數(shù)據(jù)中臺增加了以企業(yè)的全局視角來梳理數(shù)據(jù)域的環(huán)節(jié),這是數(shù)據(jù)中臺建設(shè)中很重要的一環(huán)。數(shù)據(jù)域的梳理正好體現(xiàn)了中臺化的能力。
舉個例子,新零售場景下,企業(yè)的交易場景有很多,包括自建商城渠道、第三方電商渠道、外賣訂單渠道、線下門店渠道等。建設(shè)數(shù)據(jù)中臺時就需要規(guī)劃出一個交易域,此交易域要抽象出各種渠道的業(yè)務(wù)流程,并能覆蓋線上、線下運營部門在運營時需要考核的維度與度量。
因此數(shù)據(jù)中臺建設(shè)過程要更多從企業(yè)全局出發(fā),從人、貨、場多維度打通數(shù)據(jù),真正做到無論消費者從哪個渠道進來,都能洞察其與本企業(yè)的接觸軌跡。
而數(shù)據(jù)倉庫的建設(shè)則相對單一,專注于維度模型如何設(shè)計,如何拆解指標和維度,卻很少關(guān)注基于人、貨、場這些主體進行實體拉通,然后做出全局的畫像數(shù)據(jù)供前端業(yè)務(wù)調(diào)用。
第三,數(shù)據(jù)中臺建設(shè)的范疇遠遠大于數(shù)據(jù)倉庫的建設(shè),除了完成數(shù)據(jù)倉庫的建模,還需要制定完善的數(shù)據(jù)治理方案,甚至在建設(shè)的過程中需要成立專門的數(shù)據(jù)治理委員會來促成復(fù)雜的數(shù)據(jù)治理工作。
最重要的一點是,在數(shù)據(jù)中臺的規(guī)劃階段就需要去主動迎合業(yè)務(wù),需要全面梳理哪些業(yè)務(wù)場景需要利用數(shù)據(jù)的賦能才能形成業(yè)務(wù)閉環(huán),因此,在建設(shè)數(shù)據(jù)中臺的同時就必須著眼于業(yè)務(wù)場景的賦能。
第四,對于企業(yè)來講,建設(shè)數(shù)據(jù)中臺并不只是搭建一個能力平臺。正如我們在《中臺戰(zhàn)略》一書中提到的,建設(shè)中臺需要中臺文化及相匹配的中臺組織。
因此,從宏觀上來講,數(shù)據(jù)中臺承擔著企業(yè)重新搭建數(shù)據(jù)組織的職能,倒逼企業(yè)為了運營好數(shù)據(jù)中臺而建設(shè)一套能與之匹配的數(shù)據(jù)中臺組織。數(shù)據(jù)倉庫則純粹注重于系統(tǒng)解決方案,并不涉及組織形態(tài)。
因此,簡單來說,數(shù)據(jù)倉庫重在建數(shù)據(jù),而數(shù)據(jù)中臺則將建、治、管、服放到同樣的高度,數(shù)據(jù)倉庫只是數(shù)據(jù)中臺的一個子集。
那我們?yōu)槭裁磿臄?shù)據(jù)倉庫發(fā)展到數(shù)據(jù)中臺呢?因為傳統(tǒng)的數(shù)據(jù)倉庫已不能完全滿足企業(yè)數(shù)據(jù)分析的需求。企業(yè)已從原來的統(tǒng)計分析轉(zhuǎn)變?yōu)轭A(yù)測分析并提供標簽、推薦等算法,從被動分析轉(zhuǎn)變?yōu)橹鲃臃治?,從非實時分析轉(zhuǎn)變?yōu)閷崟r分析,并且從結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的多元化數(shù)據(jù)。
2. 與數(shù)據(jù)湖的對比
與數(shù)據(jù)中臺相關(guān)的概念還有數(shù)據(jù)湖(Data Lake)。數(shù)據(jù)湖是一種數(shù)據(jù)存儲理念,作為一個集中的存儲庫,它可以以自然格式存儲任意規(guī)模的數(shù)據(jù),包括來自關(guān)系數(shù)據(jù)庫行和列的結(jié)構(gòu)化數(shù)據(jù),XML、JSON、日志等半結(jié)構(gòu)化數(shù)據(jù),電子郵件、文檔等非結(jié)構(gòu)化數(shù)據(jù),以及圖像、音視頻等的二進制數(shù)據(jù),從而實現(xiàn)數(shù)據(jù)的集中式管理。
目前Hadoop是最常見的實現(xiàn)數(shù)據(jù)湖概念的技術(shù)。比如HBase可讓數(shù)據(jù)湖保存海量數(shù)據(jù),Spark可以使得數(shù)據(jù)湖批量分析數(shù)據(jù),而Flink等可讓數(shù)據(jù)湖實時接入和處理IoT數(shù)據(jù)等。
3. 與BI的對比
BI(商業(yè)智能)是分析數(shù)據(jù)并獲取洞察,進而幫助企業(yè)做出決策的一系列方法、技術(shù)和軟件。相比數(shù)據(jù)倉庫,BI還包含數(shù)據(jù)挖掘、數(shù)據(jù)可視化等工具,并可支持用戶在一定范圍內(nèi)任意組合維度與指標,從而上升到支持決策的層面,而不只是作為數(shù)據(jù)倉儲。
4. 與大數(shù)據(jù)的對比
數(shù)據(jù)中臺也不等于大數(shù)據(jù)。數(shù)據(jù)中臺是基于大數(shù)據(jù)、人工智能等技術(shù)構(gòu)建的數(shù)據(jù)采、存、通、管、用的平臺。
數(shù)據(jù)中臺需要以Hadoop、Spark等為代表的大數(shù)據(jù)處理技術(shù)做支撐,但絕不能將數(shù)據(jù)中臺與大數(shù)據(jù)劃等號。數(shù)據(jù)中臺不只有大數(shù)據(jù)處理技術(shù),還包括智能算法、與業(yè)務(wù)聯(lián)動的特性、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)工具等。
5. 小結(jié)
可以說數(shù)據(jù)中臺是上述概念和技術(shù)的集大成者。
- 首先,大數(shù)據(jù)豐富的數(shù)據(jù)計算和存儲技術(shù)為數(shù)據(jù)中臺提供了強大的數(shù)據(jù)處理能力。
- 其次,數(shù)據(jù)中臺作為企業(yè)數(shù)據(jù)的集結(jié)地,其底層也當然承載著數(shù)據(jù)湖的職能。
- 再次,數(shù)據(jù)倉庫對數(shù)據(jù)的分域建模是數(shù)據(jù)中臺的重要部分,它承載著將企業(yè)數(shù)據(jù)治理得井井有條的職能。
- 最后,基于強大的數(shù)據(jù)能力,結(jié)合業(yè)務(wù)場景提供實時、智能的服務(wù)和應(yīng)用是數(shù)據(jù)中臺的核心價值體現(xiàn)。
二、數(shù)據(jù)中臺價值
數(shù)據(jù)中臺不等于大數(shù)據(jù)平臺,數(shù)據(jù)中臺的核心工作也并不是將企業(yè)的數(shù)據(jù)全部收集起來做匯總就夠了。數(shù)據(jù)中臺的使命是利用大數(shù)據(jù)技術(shù)、通過全局規(guī)劃來治理好企業(yè)的數(shù)據(jù)資產(chǎn),讓數(shù)據(jù)使用者能隨時隨地獲取到可靠的數(shù)據(jù)。
因此,數(shù)據(jù)中臺一旦建成并得以持續(xù)運營,其價值將隨著時間的推移將呈指數(shù)級增長。數(shù)據(jù)中臺的價值眾多,下面詳述其中的三大價值,見圖4-1。
▲圖4-1 數(shù)據(jù)中臺的三大價值
1. 幫助企業(yè)建立數(shù)據(jù)標準
在有數(shù)據(jù)中臺之前,企業(yè)基本不會有全局的數(shù)據(jù)標準,即使有相關(guān)的數(shù)據(jù)標準,由于沒有數(shù)據(jù)中臺這個實體形態(tài),數(shù)據(jù)標準也無從執(zhí)行。數(shù)據(jù)中臺的建設(shè)天然會幫助企業(yè)建設(shè)數(shù)據(jù)標準,包括數(shù)據(jù)建設(shè)規(guī)范和數(shù)據(jù)消費規(guī)范。
數(shù)據(jù)建設(shè)規(guī)范有諸如數(shù)據(jù)接入規(guī)范、數(shù)據(jù)建模規(guī)范、數(shù)據(jù)存儲規(guī)范和數(shù)據(jù)安全規(guī)范等,數(shù)據(jù)消費規(guī)范包含數(shù)據(jù)權(quán)限規(guī)范、數(shù)據(jù)調(diào)用規(guī)范以及數(shù)據(jù)銷毀規(guī)范等。這些標準都是建設(shè)數(shù)據(jù)中臺時必須建立起來并依托數(shù)據(jù)中臺去執(zhí)行和落地的。
2. 促進中臺組織形成
再宏偉的企業(yè)戰(zhàn)略規(guī)劃,都離不開一套科學(xué)合理的組織去落地執(zhí)行。數(shù)據(jù)中臺建設(shè)將是企業(yè)宏觀戰(zhàn)略規(guī)劃的一個重要部分,那么在踐行數(shù)據(jù)中臺建設(shè)的過程中,擺在企業(yè)第一位的問題就是如何搭建起一套能穩(wěn)定護航數(shù)據(jù)中臺建設(shè)及運營的數(shù)據(jù)中臺班子。
數(shù)據(jù)中臺這種體系化工程將橫向拉通企業(yè)數(shù)據(jù)相關(guān)方,包括中臺建設(shè)團隊、中臺運維團隊、數(shù)據(jù)產(chǎn)品經(jīng)理團隊、數(shù)據(jù)資產(chǎn)管理團隊、數(shù)據(jù)運營團隊等,組成標準的企業(yè)數(shù)據(jù)委員會,從而形成企業(yè)真正的中臺組織。
需要說明的是,中臺組織可以是一個橫跨各個業(yè)務(wù)部門的弱矩陣組織,也可以是一個完整的實體組織。這需要因地制宜,因企業(yè)不同而異。
3. 全面賦能業(yè)務(wù),促使降本增效
數(shù)據(jù)中臺的終極價值是降本增效,無論是建設(shè)數(shù)據(jù)標準還是形成中臺組織,其核心目標都是幫助企業(yè)達成戰(zhàn)略規(guī)劃。
通過數(shù)據(jù)中臺,可以更加合理地布局團隊;數(shù)據(jù)從加工生產(chǎn)到使用的整個時間周期將大大縮短;以中臺之力拉通整合企業(yè)營銷、交易、服務(wù)、庫存、物流等一方數(shù)據(jù),結(jié)合二方及三方數(shù)據(jù),以全局視角,形成強大的數(shù)據(jù)資產(chǎn),滋養(yǎng)各業(yè)務(wù)板塊。
同時有目的性地針對場景,設(shè)計出賦能場景的數(shù)據(jù)應(yīng)用,幫助其從研、產(chǎn)、銷等多個方面縮短產(chǎn)品研發(fā)周期,生產(chǎn)未來一段時間暢銷的產(chǎn)品,精準找到愿意購買公司產(chǎn)品的群體,以至于增強用戶對企業(yè)產(chǎn)品及服務(wù)的友好體驗,提高用戶對于企業(yè)品牌的忠誠度,降低企業(yè)運營過程中的損耗,壓縮供應(yīng)鏈端的周期等。
這些價值都是企業(yè)一直以來孜孜追求的目標。