這兩年，大量資本涌入數(shù)據(jù)庫(kù)市場(chǎng)，導(dǎo)致數(shù)據(jù)庫(kù)市場(chǎng)競(jìng)爭(zhēng)更加白熱化。幾乎所有投資者都看好數(shù)據(jù)庫(kù)上云趨勢(shì)，就在云數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)呼聲高漲的同時(shí)，云數(shù)倉(cāng)成為一個(gè)新的賽道，開(kāi)始走入大眾眼簾。只是，在分析什么是云數(shù)倉(cāng)、云數(shù)倉(cāng)為什么火爆之前，我們必要先來(lái)了解下數(shù)據(jù)倉(cāng)庫(kù)的定義。

[[420890]]

什么是數(shù)據(jù)倉(cāng)庫(kù)?數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能是一回事嗎?

數(shù)據(jù)庫(kù)通常被分為關(guān)系型數(shù)據(jù)庫(kù)(SQL)或者非關(guān)系型數(shù)據(jù)庫(kù) (NoSQL)，以及聯(lián)機(jī)事務(wù)處理(OLTP)和交易型、聯(lián)機(jī)分析處理(OLAP)，還有混合型業(yè)務(wù)處理 (HTAP)。另外，除了這些常見(jiàn)的數(shù)據(jù)庫(kù)類(lèi)型，專(zhuān)有數(shù)據(jù)庫(kù)也對(duì)業(yè)務(wù)提升帶了極大改進(jìn)，只是隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，專(zhuān)有數(shù)據(jù)庫(kù)成了“數(shù)據(jù)孤島”的代名詞。

之后，一些聰明的企業(yè)開(kāi)始嘗試，將不同數(shù)據(jù)源的數(shù)據(jù)匯聚在一起，這些將保持著原格式的數(shù)據(jù)存儲(chǔ)起來(lái)的方式叫做數(shù)據(jù)湖;而按照通用格式或者經(jīng)過(guò)加工與集成的數(shù)據(jù)，則被歸為數(shù)據(jù)倉(cāng)庫(kù)。不同的數(shù)據(jù)倉(cāng)庫(kù)獲取數(shù)據(jù)的方式不同，比如有的直接從操作型環(huán)境中獲取數(shù)據(jù)，有的則從企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)中獲取數(shù)據(jù)，這些滿(mǎn)足不同場(chǎng)景需要的數(shù)據(jù)倉(cāng)庫(kù)，又叫數(shù)據(jù)集市。換言之，數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的子集。

從本質(zhì)上講，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)分析型數(shù)據(jù)庫(kù)，通常是關(guān)系型數(shù)據(jù)庫(kù)，它由兩個(gè)或多個(gè)數(shù)據(jù)源創(chuàng)建，通常可以存儲(chǔ)具有 PB 級(jí)以上規(guī)模的歷史數(shù)據(jù)，然后憑借大量的計(jì)算和內(nèi)存資源來(lái)運(yùn)行復(fù)雜的查詢(xún)操作，最后生成數(shù)據(jù)報(bào)告。另外，數(shù)據(jù)倉(cāng)庫(kù)也是商業(yè)智能 (BI) 系統(tǒng)和機(jī)器學(xué)習(xí)獲得直接數(shù)據(jù)源的唯一路徑。

為什么說(shuō)數(shù)據(jù)倉(cāng)庫(kù)特別重要?

企業(yè)之所以使用數(shù)據(jù)倉(cāng)庫(kù)，是因?yàn)樵贠LTP中，索引的創(chuàng)建和使用受到個(gè)數(shù)和數(shù)據(jù)類(lèi)型的限制，并且當(dāng)數(shù)值接近峰值或者數(shù)據(jù)類(lèi)型不符合規(guī)范時(shí)，會(huì)減慢用戶(hù)的數(shù)據(jù)分析和查詢(xún)速度。但是，如果把數(shù)據(jù)放在數(shù)據(jù)倉(cāng)庫(kù)中，用戶(hù)就可以自定義主題，根據(jù)需要進(jìn)行數(shù)據(jù)分析和查詢(xún);同時(shí)，在數(shù)據(jù)倉(cāng)庫(kù)中使用數(shù)據(jù)，不會(huì)影響到OLTP 數(shù)據(jù)庫(kù)的寫(xiě)入性能。

最重要的是，企業(yè)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)除了能提升數(shù)據(jù)處理速度，還能對(duì)多源數(shù)據(jù)進(jìn)行分析。比如:一名銷(xiāo)售，在使用OLTP支撐的相關(guān)應(yīng)用時(shí)，只能用來(lái)處理具體事務(wù)，但是不會(huì)看到銷(xiāo)售所在地的天氣，但是銷(xiāo)售又想擁有天氣預(yù)測(cè)功能，怎么辦呢?如果將所有和天氣相關(guān)的數(shù)據(jù)添加到數(shù)據(jù)倉(cāng)庫(kù)，銷(xiāo)售就可以利用數(shù)據(jù)模型來(lái)判斷當(dāng)?shù)氐奶鞖馇闆r。

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖是什么關(guān)系?

數(shù)據(jù)倉(cāng)庫(kù)之所以與數(shù)據(jù)湖不同，除了數(shù)據(jù)存儲(chǔ)的格式有區(qū)別，數(shù)據(jù)的“讀取模式”也不一樣。數(shù)據(jù)湖是讀模式，很多數(shù)據(jù)都以易于讀取的格式存儲(chǔ);而數(shù)據(jù)倉(cāng)庫(kù)是“寫(xiě)入模式”，能支持各種數(shù)據(jù)類(lèi)型的存儲(chǔ)，并且在索引查詢(xún)和各種數(shù)據(jù)關(guān)系的處理上更方便、快捷。

這種“讀取模式”適用于來(lái)自多個(gè)聚合根(不同上下文)的數(shù)據(jù)讀取，避免出現(xiàn)數(shù)據(jù)丟失的現(xiàn)象，但有一個(gè)弊端是，很多數(shù)據(jù)會(huì)變成死數(shù)據(jù)，應(yīng)用不會(huì)被使用，大量占據(jù)存儲(chǔ)資源。“寫(xiě)入模式”適用于具有特定目的的數(shù)據(jù)，并且所使用數(shù)據(jù)必須與其他來(lái)源的數(shù)據(jù)正確關(guān)聯(lián)。但有時(shí)會(huì)因?yàn)殄e(cuò)誤的數(shù)據(jù)格式而被丟棄，導(dǎo)致有價(jià)值的數(shù)據(jù)沒(méi)有被使用。

主流的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有哪些?

通常，數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分為三層，包括：源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)應(yīng)用。

• 源數(shù)據(jù)層包括來(lái)自銷(xiāo)售、營(yíng)銷(xiāo)和其他業(yè)務(wù)部門(mén)的運(yùn)營(yíng)數(shù)據(jù)，還可能包括社交媒體和外部數(shù)據(jù)，例如：人口調(diào)查和統(tǒng)計(jì)數(shù)據(jù)。

臨時(shí)數(shù)據(jù)庫(kù)，是指從數(shù)據(jù)源檢索到的數(shù)據(jù)，屬于臨時(shí)存儲(chǔ)區(qū)域，為下一步的數(shù)據(jù)處理做準(zhǔn)備。比如：如果來(lái)源是非結(jié)構(gòu)化的，例如：社交媒體文本，需要通過(guò)質(zhì)量檢驗(yàn)，刪除質(zhì)量差的數(shù)據(jù)。

• 數(shù)據(jù)倉(cāng)庫(kù)層，也稱(chēng)為細(xì)節(jié)層，所有數(shù)據(jù)是一致、準(zhǔn)確、干凈的數(shù)據(jù)，對(duì)源數(shù)據(jù)進(jìn)行了清洗，去除了雜質(zhì)。
• 數(shù)據(jù)應(yīng)用層，是從前端應(yīng)用直接讀取的數(shù)據(jù)源，是指根據(jù)報(bào)表直接生成或者按主題需求計(jì)算出來(lái)的數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)獲取數(shù)據(jù)以及在倉(cāng)庫(kù)中實(shí)現(xiàn)的轉(zhuǎn)換和流動(dòng)都可以認(rèn)為是 ETL (提取、轉(zhuǎn)換和加載)過(guò)程，即指經(jīng)過(guò)清洗的數(shù)據(jù)，通過(guò) ETL 工具提取數(shù)據(jù)，執(zhí)行任何所需的映射和轉(zhuǎn)換，并將數(shù)據(jù)加載到數(shù)據(jù)存儲(chǔ)層。而ELT (提取、加載和轉(zhuǎn)換)工具，則是指先存儲(chǔ)數(shù)據(jù)，然后再進(jìn)行轉(zhuǎn)換，使用 ELT 工具的好處是，數(shù)據(jù)跳過(guò)傳統(tǒng)的暫存層，直接進(jìn)入數(shù)據(jù)湖。

什么是云數(shù)據(jù)倉(cāng)庫(kù)?與本地?cái)?shù)據(jù)倉(cāng)庫(kù)相比有哪些區(qū)別?

隨著云計(jì)算的深化發(fā)展，企業(yè)應(yīng)用上云已成為主流趨勢(shì)，而數(shù)據(jù)庫(kù)上云則成為企業(yè)應(yīng)用上云的最后一步。眾所周知，云數(shù)據(jù)庫(kù)的概念，是指被優(yōu)化或部署到一個(gè)虛擬計(jì)算環(huán)境中的數(shù)據(jù)庫(kù)，可以實(shí)現(xiàn)按需付費(fèi)、按需擴(kuò)展、高可用性以及存儲(chǔ)整合等優(yōu)勢(shì)。而云數(shù)據(jù)倉(cāng)庫(kù)和云數(shù)據(jù)庫(kù)的定義非常相似，也是指數(shù)據(jù)倉(cāng)庫(kù)可以在本地、云中或混合環(huán)境中部署。

從過(guò)去實(shí)踐來(lái)看，數(shù)據(jù)倉(cāng)庫(kù)都在本地部署，但本地?cái)?shù)據(jù)中心以及服務(wù)器的可擴(kuò)展性差，所以數(shù)據(jù)倉(cāng)庫(kù)上云成為主流趨勢(shì)。只是，云數(shù)據(jù)倉(cāng)庫(kù)也有一個(gè)挑戰(zhàn)，那就是將PB 級(jí)數(shù)據(jù)全部遷移上云，涉及到計(jì)算、存儲(chǔ)和內(nèi)存等成本。另外，如何快速上云也是一個(gè)挑戰(zhàn)。當(dāng)然，隨著市場(chǎng)的不斷發(fā)展，這些問(wèn)題都不再是問(wèn)題，現(xiàn)在已經(jīng)有超大規(guī)模的云服務(wù)提供商在提供大容量、基于磁盤(pán)的數(shù)據(jù)傳輸服務(wù)。

最后，到底選擇本地?cái)?shù)據(jù)倉(cāng)庫(kù)、云數(shù)據(jù)倉(cāng)庫(kù)，還是選擇數(shù)據(jù)湖、數(shù)據(jù)集市，需要結(jié)合企業(yè)具體的數(shù)據(jù)量、增長(zhǎng)速度等來(lái)確定，建議用戶(hù)先拿少量數(shù)據(jù)去測(cè)試，或者將部分?jǐn)?shù)據(jù)托管在云上，等所有應(yīng)用和流程跑通，再把成熟的架構(gòu)向核心關(guān)鍵業(yè)務(wù)擴(kuò)展。