數(shù)據(jù)中臺與其存儲系統(tǒng)
一、什么是數(shù)據(jù)中臺?
最近幾年經(jīng)常有人提到數(shù)據(jù)中臺這個詞,怎么理解?不同人可能有不同的看法,數(shù)據(jù)中臺總的來說是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制,一種戰(zhàn)略選擇和組織形式,是依據(jù)企業(yè)特有的業(yè)務模式和組織架構,通過有形的產(chǎn)品和實施方法論支撐,構建一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務于業(yè)務的機制。
通俗的來理解的話,數(shù)據(jù)中臺就是一個組織的公共服務產(chǎn)品或平臺,將數(shù)據(jù)加工封裝成一個公共的數(shù)據(jù)產(chǎn)品或者服務的邏輯概念,方便前臺業(yè)務或后臺研發(fā)的應用,它不同于一般的簡單大數(shù)據(jù)平臺或者數(shù)據(jù)倉庫。
二、數(shù)據(jù)中臺的價值
在過去幾年中,借著移動互聯(lián)網(wǎng)的紅利,許多公司都高速發(fā)展,進行大規(guī)模業(yè)務拓展,業(yè)務拓展的速度足夠快,對公司自然是好事,但是隨之而來的問題就是公司內(nèi)部出現(xiàn)了大量的重復建設和資源浪費的現(xiàn)象。所以中臺不是憑空產(chǎn)生的,而是建立在業(yè)務之上,有些組織在發(fā)展過程中經(jīng)常有不同的項目,需要重新搭建IT架構,造成資源浪費,搭建中臺系統(tǒng)完美解決重復搭建問題。換句話說數(shù)據(jù)中臺是在數(shù)據(jù)倉庫和大數(shù)據(jù)平臺的基礎上,從數(shù)據(jù)采集到分析到展現(xiàn),將數(shù)據(jù)包裝成若干的數(shù)據(jù)API 服務,以更高效的方式提供給需求者。未處理的不能給業(yè)務帶來價值的原始數(shù)據(jù)不等于數(shù)據(jù)資產(chǎn),如果沒有從業(yè)務的角度對數(shù)據(jù)進行規(guī)劃,再多的數(shù)據(jù)也無法產(chǎn)生價值。數(shù)據(jù)中臺的出現(xiàn),就是為了彌補數(shù)據(jù)開發(fā)和應用開發(fā)之間,由于開發(fā)速度不匹配,出現(xiàn)的響應力跟不上的問題。
具體價值可從以下幾個方面來看:
1、快速應對業(yè)務對數(shù)據(jù)處理的需求和業(yè)務創(chuàng)新,形成核心壁壘;
2、豐富標簽數(shù)據(jù),減低管理成本;
3、能體現(xiàn)業(yè)務系統(tǒng)效果而不僅是準確度;
4、支持跨主題域訪問數(shù)據(jù);
5、數(shù)據(jù)可以快速復用和共享、但不僅僅是復制;
6、解決前臺和后臺的沖突,前臺對接用戶,后臺對接內(nèi)部開發(fā)。企業(yè)的數(shù)據(jù)開發(fā)一般是跟不上應用的開發(fā)速度,更是跟不上業(yè)務的變化速度,這是一個不可調(diào)和的問題,而數(shù)據(jù)中臺通過構建數(shù)據(jù)體系,將其轉(zhuǎn)化為數(shù)據(jù)開發(fā)的能力,提升開發(fā)速度。
總結:數(shù)據(jù)中臺把業(yè)務生產(chǎn)資料轉(zhuǎn)變?yōu)閿?shù)據(jù)生產(chǎn)力,同時數(shù)據(jù)生產(chǎn)力反哺業(yè)務,不斷迭代循環(huán)的閉環(huán)過程。數(shù)據(jù)驅(qū)動決策和運營,取之于業(yè)務,用之于業(yè)務。數(shù)據(jù)中臺把數(shù)據(jù)統(tǒng)一之后,會形成標準數(shù)據(jù),再進行存儲,形成大數(shù)據(jù)資產(chǎn)層,進而為其服務對象提供高效服務。
三、數(shù)據(jù)中臺下的存儲基礎設施需求
就當前的情況來看,數(shù)據(jù)中臺在未來一段時間內(nèi)仍會涵蓋數(shù)據(jù)倉庫,數(shù)據(jù)湖等存儲組件,包括結構化與非結構化數(shù)據(jù)。數(shù)據(jù)中臺如此有價值,支撐這個平臺的基礎設施也同樣重要,俗話說工欲善其事必先利其器,具有優(yōu)秀的基礎架構才能夠讓用戶在未來的數(shù)據(jù)之路中越走越寬。數(shù)據(jù)中臺是建立在分布式計算平臺和存儲平臺之上的,理論上可以無限擴充平臺的計算和存儲能力。存儲方面具體需要從以下幾個方面來考慮:
1、擴展性需求
不僅需要購買行業(yè)標準的存儲設備,同時還要保證產(chǎn)品的擴展能力,隨著業(yè)務的增加,能夠根據(jù)需要進行擴展,能夠持續(xù)保證組織的需求,通過增加存儲節(jié)點設備來維持數(shù)據(jù)增長的容量和性能需求;
2、消除數(shù)據(jù)流動和遷移麻煩
數(shù)據(jù)中臺存儲系統(tǒng)必須滿足數(shù)據(jù)增長而不會受到任何其他系統(tǒng)約束的能力,能夠方便的數(shù)據(jù)遷移和流動;
3、拒絕數(shù)據(jù)孤島
為了能夠充分利用大數(shù)據(jù)的機會,組織必須能夠訪問所有的數(shù)據(jù),要實現(xiàn)這一點,存儲平臺必須能夠滿足這個要求,消除那些傳統(tǒng)的存儲孤島,最好是一套存儲系統(tǒng)就能保存和管理所有的數(shù)據(jù),完成所有需要的任務,而不是簡單的添加另一個存儲解決方案;
4、提供全局管理方式
一個集中的數(shù)據(jù)管理方式在大數(shù)據(jù)增長迅速的年代已經(jīng)是不可行的了,單點故障的成本會很高,一個大數(shù)據(jù)存儲平臺必須能夠管理分布在不同機房甚至不同地域中的數(shù)據(jù);
5、保護數(shù)據(jù)的可用性和可靠性
數(shù)據(jù)價值越來越重要,為了防止企業(yè)級的產(chǎn)品硬件發(fā)生故障或其他錯誤,存儲平臺必須通過智能軟件的保護措施來保證數(shù)據(jù)的可用性和完整性以及可靠性;
6、集成度高
數(shù)據(jù)來源廣泛與復雜,不同類型的數(shù)據(jù)訪問,處理和分析的方式不同,這就要求大數(shù)據(jù)時代下存儲系統(tǒng)的接口集成度要高,使大數(shù)據(jù)存儲系統(tǒng)能夠應對和兼容不同的數(shù)據(jù)需求;
7、自動化能力強
大數(shù)據(jù)使得數(shù)據(jù)量大幅增加以及數(shù)據(jù)處理流程,方式更加復雜,這給存儲系統(tǒng)的管理和維護提出了更高的要求,因此管理自動化也是衡量此數(shù)據(jù)存儲系統(tǒng)的重要指標;
8、彈性成本規(guī)劃
大數(shù)據(jù)并不意味著用戶必須要在基礎架構上一次性投入大額成本,具有彈性擴展的存儲系統(tǒng)能夠幫助用戶實現(xiàn)彈性成本,按需購買和擴容,讓不同層面的用戶都能在大數(shù)據(jù)浪潮中開展業(yè)務。
最后,個人覺得數(shù)據(jù)中臺的建設并不是每個組織所必須的,打個比方,就好比做某道菜,為了以后方便的做這道菜,事先把加工過的原料和調(diào)料都準備好,想吃的時候就可以迅速做出來,但如果吃這道菜的頻率很低,偶爾吃一次,可能就不需要事先都準備好了。所以當前臺和后臺對數(shù)據(jù)需求的變化頻率很低,而組織認為目前的系統(tǒng)架構能很好的支撐,也可以暫時不需要單獨建設數(shù)據(jù)中臺。