從數據倉庫到數據飛輪,看傳統服務行業的數字化轉型進化
背景:
數字經濟時代,隨著5G,物聯網,大數據,云計算,區塊鏈等技術的應用,企業由原來單純的重視產品為中心,
發展到產品本身和產品服務并重,客戶服務成為企業運營的生命線,數字經濟時代呼喚客戶數字化服務轉型,重塑數字化服務新體系,數字化服務呈現在線化,
平臺化,智慧化,透明化等特點。數字化服務轉型策略為:服務意識的數字化轉型,由被動服務向合作共贏的服務生態轉變;
服務能力的數字化轉型,由傳統后置服務向個性化智慧服務轉變;服務體驗的數字化轉型,由結果管理向全程體驗管理轉變;服務價值的數字化轉型,由單純服務向創造價值服務轉變。
作為一名大數據工程師,深入參與了服務行業企業的數字化轉型,從最早期的Excel表格,到后來企業級數據庫的建立,發展到云計算,數據倉庫技術,開始建設大一統數據中臺,
積累了豐富的數據資源,再到數據資源的消費轉化。每一次技術革新都見證了服務行業對數據價值認知的深化和利用能力的提升。
數據革命進化論:
1.數據倉庫:原始積累-數據本能的思考
企業發展到一定規模,企業積累了大量的原始數據,為了更好的管理和利用數據,打破數據孤島,以支持決策制定,業務分析和業務報告等,企業需要定期將冷數據從業務數據庫中轉移出來存儲到一個專門存放歷史數據的倉庫里面,各部門可以根據自身業務特性對外提供統一的數據服務,這個倉庫就是數據倉庫。
數據倉庫(Data Warehoese)的特點:面向主題的、集成的、穩定的、反映歷史數據變化的。
面向主題的:數據倉庫是用來分析特點主題域的,所以說數據倉庫是面向主題的。例如,電商行業的主題域通常分為交易域、會員域、商品域等。
集成的:數據倉庫集成了多個數據源,同一主題或產品相關數據可能來自不同的系統不同類型的數據庫,日志文件等。
穩定的:數據一旦進入數據倉庫,則不可改變。數據倉庫的歷史數據是不應該被更新的,同時存儲穩定性較強
反映歷史數據變化的:數據倉庫保存了長期的歷史數據,這點相對OLTP的數據庫而言。因為性能考慮后者統籌保存近期的熱數據。
從數據倉庫到數據飛輪,看傳統服務行業的數字化轉型進化_數據飛輪
數據倉庫采用分層結構。
ODS(Operational Data Store):定義為存儲層,僅以技術手段(存儲快照形式)保留歷史數據,不作任何轉換,與業務側db實體保持同構。
DWD(Data Warehouse Detail):定義為明細層,對數據進行規范化(編碼轉換、清洗、統一格式、脫敏等),不做橫向整合。
DWS(Data Warehouse Service):定義為主題匯聚寬表層,對DWD各信息進行聯合整合。
TDM (標簽層):
ADS:定義為應用層,面向業務需求進行定制開發。
服務行業數字化轉型時間比較晚,但也積累了大量的業務數據,作為下一步更新迭代的原始積累,隨著數據量的進一步爆炸和業務需求的多樣化,數據倉庫逐漸顯露出其局限性。它雖然能夠存儲和管理大量數據,但在數據處理的實時性、靈活性和效率方面難以滿足日益增長的需求。
2.數據中臺:價值挖掘-數據組織的誕生
數據資源有了,但卻分散在數據倉庫中,并沒有形成資源整合,為了解決這個問題,數據中臺一度登上熱搜榜,數據中臺進行資源整合,減少重復造輪子的問題,實現了數據和業務的聯系,使得各個業務部門直接共享數據資產,并且以數據為驅動,自上而下設計加速企業從數據到業務價值的轉變過程。
下圖為數據中臺架構圖,數據中臺的總體目標是使數據產生業務價值。具體來說,企業可以通過建設數據中臺構建各項能力,彌合數據供需鴻溝,使數據能夠驅動企業提升經營效率、實現業務價值。 這一目標具體拆解開來包括快速響應數據需求、建設統一數據平臺、打通企業數據資產、提供統一數據服務、數據直接參與業務、產生包括客戶價值在內的企業價值等。
從數據倉庫到數據飛輪,看傳統服務行業的數字化轉型進化_數據_02
傳統服務行業正式在這樣的基礎下,建立了這樣的數據組織,為企業提供更多更高效的數據應用,打開了數據應用場景在傳統行業的落地。
3.數據飛輪:進化循環-數據資產消費
有了好的平臺,如何能讓價值循環起來,收益更大的價值。“飛輪效應”這個詞來源于亞馬遜,是指只要能夠利用客戶數據為第三方開發出增值服務,就能支持公司持續地、免費地為客戶提供更多的服務,而更多的服務會產生更多的客戶行為數據。 同樣,利用這些新產生的數據又能為第三方提供新的增值服務。在近段時間的大模型帶動下,數據飛輪也被越來越多的業內人士所關注。
數據飛輪通過戰略性地使用數據來加速增加產品或流程的勢頭。飛輪在旋轉到自給自足的程度時會積聚能量。它使用信息來創建一個良性循環,在這種循環中,更多的數據會帶來更快的學習曲線、更好的產品和更高的客戶獲取/保留率。有效的數據飛輪策略可以激發新產品創新、增加收入并提高利潤。
它是一個自我維持的系統,專為數據驅動型企業設計,以利用數據收集、數據分析和行動之間的相互作用。作為第一步,企業從各種來源收集數據。然后分析這些數據以提取有價值的見解,用于做出明智的決策。這些操作的結果會產生更多數據,這些數據會反饋到飛輪中,使其加速。隨著時間的推移,數據飛輪可以幫助企業改進他們的產品、增強他們的服務、個性化的客戶體驗或優化他們的運營,逐漸創造競爭優勢。
從數據倉庫到數據飛輪,看傳統服務行業的數字化轉型進化_數據中臺_03
傳統行業的技術更新迭代沒有那么快,但我所從事的服務行業已經意識到數據資產的重要性,也希望盡快能實現數據飛輪的落地,數據驅動業務,業務反哺數據循環起來的數據資產將為企業帶來更長足的發展。