從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進(jìn)化史
前言
大家好,我是一名大數(shù)據(jù)開發(fā)工程師,在金融行業(yè)深耕多年,其實(shí)數(shù)據(jù)技術(shù)的演進(jìn)不僅是技術(shù)層面的革新,更是業(yè)務(wù)模式與決策方式的深刻變革。從最開始的數(shù)據(jù)倉(cāng)庫(kù)興起,到數(shù)據(jù)中臺(tái)的普及,再到數(shù)據(jù)飛輪的出現(xiàn),每一步都見證了金融行業(yè)對(duì)數(shù)據(jù)價(jià)值認(rèn)知的深化和利用能力的提升。下面我將以我所了解到的知識(shí)來講一講金融行業(yè)的數(shù)據(jù)技術(shù)進(jìn)化史。
數(shù)據(jù)倉(cāng)庫(kù):奠定數(shù)據(jù)基礎(chǔ)
數(shù)據(jù)倉(cāng)庫(kù)這個(gè)概念,其實(shí)是由數(shù)據(jù)倉(cāng)庫(kù)之父Bill Inmon在1991年出版的“Building the Data Warehouse"定義且被廣泛接受的——面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。從定義上來看,數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵詞為面向主題、集成、穩(wěn)定、反映歷史變化、支持管理決策,而這些關(guān)鍵詞的實(shí)現(xiàn)就體現(xiàn)在分層架構(gòu)內(nèi)。
分層架構(gòu)怎么分層呢?市面上主流的分層方式太多了,其實(shí)從核心思想上分可以分為ODM貼源層、SDMQ標(biāo)準(zhǔn)層、FDM主題層、ADM應(yīng)用層,如下圖所示:
從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進(jìn)化史_數(shù)據(jù)
在數(shù)據(jù)倉(cāng)庫(kù)階段,金融行業(yè)主要依賴于IBM、Oracle、Teradata等廠商提供的整體解決方案。然而,隨著數(shù)據(jù)量的進(jìn)一步爆炸和業(yè)務(wù)需求的多樣化,數(shù)據(jù)倉(cāng)庫(kù)逐漸顯露出其局限性。它雖然能夠存儲(chǔ)和管理大量數(shù)據(jù),但在數(shù)據(jù)處理的實(shí)時(shí)性、靈活性和效率方面難以滿足日益增長(zhǎng)的需求。
數(shù)據(jù)中臺(tái):數(shù)據(jù)價(jià)值的深度挖掘
正是在這樣的背景下,數(shù)據(jù)中臺(tái)應(yīng)運(yùn)而生。前面提到數(shù)據(jù)倉(cāng)庫(kù)的核心是分層架構(gòu),那么數(shù)據(jù)中臺(tái)的核心就是四化,即業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化和服務(wù)業(yè)務(wù)化。因?yàn)閿?shù)據(jù)量的進(jìn)一步爆炸和業(yè)務(wù)需求的多樣化,所以出現(xiàn)了數(shù)據(jù)中臺(tái),數(shù)據(jù)中臺(tái)是如何解決這一現(xiàn)象呢?
下面這張圖是數(shù)據(jù)中臺(tái)的邏輯架構(gòu)圖,可以看到數(shù)據(jù)中臺(tái)其實(shí)是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng),目標(biāo)是將數(shù)據(jù)能力滲透到各個(gè)業(yè)務(wù)環(huán)節(jié),不限于決策分析類場(chǎng)景。這種架構(gòu)可以加快數(shù)據(jù)賦能業(yè)務(wù)的速度,為業(yè)務(wù)提供速度更快、更多樣的數(shù)據(jù)服務(wù)。
從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進(jìn)化史_數(shù)據(jù)倉(cāng)庫(kù)_02
金融行業(yè)其實(shí)已經(jīng)步入了智能化的金融科技3.0時(shí)代,我認(rèn)為智慧中臺(tái)是智慧金融的新基礎(chǔ)設(shè)施,金融行業(yè)想要實(shí)現(xiàn)四化的核心可以先理清金融機(jī)構(gòu)自身的數(shù)據(jù)資產(chǎn),梳理好機(jī)構(gòu)內(nèi)的數(shù)據(jù)資產(chǎn)后需要對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)、口徑等進(jìn)行統(tǒng)一,最后再向相關(guān)部門提供數(shù)據(jù)服務(wù)。
數(shù)據(jù)飛輪:構(gòu)建數(shù)據(jù)消費(fèi)的正循環(huán)
什么是數(shù)據(jù)飛輪呢?數(shù)據(jù)飛輪是今年大模型帶火的一個(gè)詞匯,核心其實(shí)就是通過客戶在應(yīng)用程序中輸入的提示詞這樣的數(shù)據(jù)反饋,使大模型快速迭代。通俗一點(diǎn)就是,好的產(chǎn)品
從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)再到數(shù)據(jù)飛輪:金融行業(yè)的數(shù)據(jù)技術(shù)進(jìn)化史_數(shù)據(jù)倉(cāng)庫(kù)_03
雖然現(xiàn)在數(shù)據(jù)飛輪很火,但是想要在金融行業(yè)落地還是有很多挑戰(zhàn)的,比如金融行業(yè)科技技術(shù)人才占比較少,難以支撐數(shù)據(jù)飛輪落地以及后續(xù)的迭代、更新;難以將數(shù)據(jù)形成資產(chǎn)納入報(bào)表或財(cái)務(wù)體系,因?yàn)闊o法預(yù)估數(shù)據(jù)的價(jià)值形成整套的定價(jià),也缺乏相應(yīng)的質(zhì)量管控體系等。
總結(jié)
從數(shù)據(jù)倉(cāng)庫(kù)到數(shù)據(jù)中臺(tái)再到數(shù)據(jù)飛輪,金融行業(yè)的數(shù)據(jù)技術(shù)演進(jìn)歷程不僅見證了數(shù)據(jù)價(jià)值的不斷挖掘和利用,也推動(dòng)了業(yè)務(wù)模式的深刻變革和創(chuàng)新發(fā)展。在未來的發(fā)展中,我相信數(shù)據(jù)飛輪肯定能完美的在金融行業(yè)實(shí)現(xiàn)落地,助力企業(yè)業(yè)務(wù)持續(xù)增長(zhǎng)和自我增強(qiáng)的循環(huán)。