預(yù)計到2025年，全球數(shù)據(jù)量將增長至180ZB，企業(yè)必須處理兩個主要問題——在哪里存儲數(shù)據(jù)以及如何使用數(shù)據(jù)。數(shù)據(jù)倉庫自20世紀(jì)80年代以來就已經(jīng)存在，并且其功能不斷擴(kuò)展，可以幫助應(yīng)對這兩個挑戰(zhàn)。然而，根據(jù)獨立市場研究公司VansonBourne的研究，無論技術(shù)成熟度如何，而且數(shù)據(jù)倉庫通常由專家開發(fā)，失敗項目的比例仍然高居不下。

在本文中，我們將通過概述數(shù)據(jù)倉庫設(shè)計和數(shù)據(jù)倉庫開發(fā)步驟的兩種基本方法來深入探討數(shù)據(jù)倉庫實現(xiàn)的細(xì)節(jié)。

什么是數(shù)據(jù)倉庫以及為什么要構(gòu)建數(shù)據(jù)倉庫？

數(shù)據(jù)倉庫是一個系統(tǒng)，它以適合分析查詢和報告的形式整合和存儲來自不同來源的企業(yè)信息，以支持商業(yè)智能和數(shù)據(jù)分析計劃。這種存儲庫的成功實施能夠帶來多種好處，包括：

• 以業(yè)務(wù)發(fā)展速度做出的基于事實的決策，因為最終用戶可以輕松訪問和使用公司的歷史信息以及從不同異構(gòu)系統(tǒng)收集的當(dāng)前信息。
• 基于高質(zhì)量信息的決策，因為數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫之前會經(jīng)過全面的清洗和轉(zhuǎn)換過程。除此之外，許多數(shù)據(jù)管理活動變得自動化，這有助于消除容易出錯的手動數(shù)據(jù)聚合。
• 當(dāng)數(shù)據(jù)倉庫與自助式BI解決方案（例如PowerBI或Tableau）集成時，數(shù)據(jù)文化自然會在整個公司中采用。
• 由于統(tǒng)一的數(shù)據(jù)治理方法，除了其他方面意味著數(shù)據(jù)安全策略的可靠定義和管理之外，數(shù)據(jù)泄露和泄漏的風(fēng)險也被最小化。

數(shù)據(jù)倉庫架構(gòu)的3個核心組件

當(dāng)創(chuàng)建未來數(shù)據(jù)倉庫的架構(gòu)時，必須考慮多種因素，例如有多少數(shù)據(jù)源將連接到數(shù)據(jù)倉庫、每個數(shù)據(jù)源中的信息量及其性質(zhì)和復(fù)雜性、分析目標(biāo)、現(xiàn)有技術(shù)環(huán)境等。然而，說每個架構(gòu)都是獨一無二的是錯誤的，因為實際上每個架構(gòu)都具有以下三個組件：

1. 源系統(tǒng)——捕獲交易的操作數(shù)據(jù)庫、物聯(lián)網(wǎng)設(shè)備流傳感器數(shù)據(jù)、SaaS應(yīng)用程序、外部數(shù)據(jù)源等。
2. 數(shù)據(jù)暫存區(qū)域–臨時托管復(fù)制數(shù)據(jù)的區(qū)域和一組流程，可幫助加載到數(shù)據(jù)倉庫之前根據(jù)業(yè)務(wù)定義的規(guī)則清理和轉(zhuǎn)換數(shù)據(jù)。有了暫存區(qū)，就可以擁有原始數(shù)據(jù)的歷史記錄，以防ETL作業(yè)失敗。通常，一旦ETL作業(yè)成功完成，暫存區(qū)中的信息就會被刪除。但是，仍可以出于遺留原因?qū)⑵浔４嬉欢螘r間或存檔。如果所有數(shù)據(jù)轉(zhuǎn)換都發(fā)生在數(shù)據(jù)倉庫數(shù)據(jù)庫本身中，則可以省略該區(qū)域。
3. 數(shù)據(jù)存儲–為特定部門或業(yè)務(wù)線創(chuàng)建的公司范圍信息和數(shù)據(jù)集市的數(shù)據(jù)倉庫數(shù)據(jù)庫。

除了這些內(nèi)容之外，企業(yè)數(shù)據(jù)倉庫解決方案還包含數(shù)據(jù)治理和元數(shù)據(jù)管理組件。擴(kuò)展數(shù)據(jù)倉庫環(huán)境還可以包括OLAP立方體（存儲聚合數(shù)據(jù)以實現(xiàn)交互式查詢的多維數(shù)據(jù)結(jié)構(gòu)）和數(shù)據(jù)訪問層（供最終用戶訪問和操作所存儲信息的工具和應(yīng)用程序）。然而，這些內(nèi)容是更大的生態(tài)系統(tǒng)（BI架構(gòu)）的一部分，因此我們不會在這里探討它們。

使用Itransition構(gòu)建高性能數(shù)據(jù)倉庫

構(gòu)建數(shù)據(jù)倉庫的方法

用于構(gòu)建數(shù)據(jù)倉庫的兩種基本設(shè)計方法是Inmon（自上而下）和Kimball（自下而上）方法。

Inmon的方法

在Inmon的方法中，首先，根據(jù)規(guī)范化數(shù)據(jù)模型設(shè)計企業(yè)信息的集中存儲庫，其中原子數(shù)據(jù)存儲在表中，這些表借助聯(lián)接按主題領(lǐng)域分組在一起。企業(yè)數(shù)據(jù)倉庫建成后，存儲的數(shù)據(jù)用于構(gòu)建數(shù)據(jù)集市。

當(dāng)需要執(zhí)行以下操作時，Inmon的方法更為可取：

• 獲取單一事實來源，同時確保數(shù)據(jù)一致性、準(zhǔn)確性和可靠性
• 快速開發(fā)數(shù)據(jù)集市，無需重復(fù)從原始來源提取數(shù)據(jù)、清理等。

然而，該方法的主要限制之一是，與Kimball的方法相比，設(shè)置和實施需要更多的時間和資源。

圖片

Kimball的方法

Kimball的方法建議首先創(chuàng)建維度數(shù)據(jù)集市，然后如果需要，公司可以繼續(xù)創(chuàng)建邏輯企業(yè)數(shù)據(jù)倉庫。

這種方法的倡導(dǎo)者指出，由于維度數(shù)據(jù)集市需要最少的規(guī)范化，因此此類數(shù)據(jù)倉庫項目需要更少的時間和資源。另一方面，可能會在表中發(fā)現(xiàn)重復(fù)數(shù)據(jù)，并且必須重復(fù)ETL活動，因為每個數(shù)據(jù)集市都是獨立創(chuàng)建的。

圖片

盡管這兩種方法可能看起來相當(dāng)不同，但它們可以很好地互補(bǔ)，結(jié)合兩種設(shè)計方法原理的替代方法的出現(xiàn)證明了這一點。

構(gòu)建數(shù)據(jù)倉庫的分步指南

通常的做法是通過全面的準(zhǔn)備情況評估來啟動數(shù)據(jù)倉庫計劃。在評估數(shù)據(jù)倉庫項目的準(zhǔn)備情況時，請考慮以下因素：

• 擁有強(qiáng)大的業(yè)務(wù)支持者——有影響力的管理者，他們可以預(yù)見該計劃的潛力并幫助推廣它。
• 業(yè)務(wù)動機(jī)——數(shù)據(jù)倉庫是否可以幫助解決一些關(guān)鍵業(yè)務(wù)問題。
• 目前整個公司的數(shù)據(jù)成熟度——換句話說，最終用戶是否意識到數(shù)據(jù)驅(qū)動決策、高數(shù)據(jù)質(zhì)量等的重要性。
• IT專家和業(yè)務(wù)用戶協(xié)作的能力。
• 現(xiàn)有技術(shù)和數(shù)據(jù)環(huán)境的可行性。

在評估了項目的準(zhǔn)備情況并希望對其感到滿意之后，需要開發(fā)一個用于項目規(guī)劃和管理的框架，然后最終繼續(xù)進(jìn)行數(shù)據(jù)倉庫開發(fā)，這從業(yè)務(wù)需求的定義開始。

1.業(yè)務(wù)需求定義

業(yè)務(wù)需求幾乎影響整個數(shù)據(jù)倉庫開發(fā)過程中的每一個決策——從應(yīng)該提供哪些信息到應(yīng)該多久訪問一次信息。因此，可以從調(diào)研業(yè)務(wù)用戶開始定義：

• 公司的總體目標(biāo)以及特定業(yè)務(wù)部門、部門等的目標(biāo)。
• 用于衡量成功的方法和指標(biāo)
• 企業(yè)面臨的關(guān)鍵問題
• 公司當(dāng)前執(zhí)行的常規(guī)數(shù)據(jù)分析的類型，包括用于分析的數(shù)據(jù)、分析進(jìn)行的頻率、帶來的潛在改進(jìn)等）。

在采訪業(yè)務(wù)用戶時，還應(yīng)該與關(guān)鍵IT專家（數(shù)據(jù)庫管理員、運營源系統(tǒng)專家等）進(jìn)行有效的溝通，以確定當(dāng)前可用的信息是否足以滿足以下業(yè)務(wù)需求：

• 關(guān)鍵操作系統(tǒng)
• 數(shù)據(jù)更新頻率
• 歷史數(shù)據(jù)的可用性
• 設(shè)置哪些流程來確保向業(yè)務(wù)用戶交付信息
• 使用哪些工具來訪問和分析信息
• 通常會生成哪些類型的見解
• 臨時的信息請求是否得到妥善處理等。

2.數(shù)據(jù)倉庫概念化和技術(shù)選擇

上一步的結(jié)果將用作定義未來解決方案范圍的基礎(chǔ)，因此應(yīng)仔細(xì)分析業(yè)務(wù)和IT用戶的需求和期望并確定優(yōu)先級，以制定最佳的數(shù)據(jù)倉庫功能集。

之后，必須確定構(gòu)建數(shù)據(jù)倉庫解決方案的架構(gòu)方法，評估并為每個架構(gòu)組件（暫存區(qū)域、存儲區(qū)域等）選擇最佳技術(shù)。在制定技術(shù)堆棧時，請考慮以下因素：

• 當(dāng)前的技術(shù)環(huán)境
• 規(guī)劃的戰(zhàn)略技術(shù)方向
• 內(nèi)部IT團(tuán)隊成員的技術(shù)能力
• 具體數(shù)據(jù)安全要求等

此時，還應(yīng)該定義部署選項-本地、云或混合。部署選項的選擇取決于多種因素，例如數(shù)據(jù)量、數(shù)據(jù)性質(zhì)、成本、安全要求、用戶數(shù)量及其位置以及系統(tǒng)可用性等。

3.數(shù)據(jù)倉庫環(huán)境設(shè)計

在設(shè)計數(shù)據(jù)倉庫之前和期間，需要定義數(shù)據(jù)源并分析存儲在其中的信息-可用的數(shù)據(jù)類型和結(jié)構(gòu)，每天、每月生成的信息量等，以及其質(zhì)量、敏感性、刷新率頻率。

下一步是邏輯數(shù)據(jù)建模，或者將公司的數(shù)據(jù)排列成一系列稱為實體（現(xiàn)實世界對象）和屬性（定義這些對象的特征）的邏輯關(guān)系。實體關(guān)系建模用于各種建模技術(shù)，包括規(guī)范化模式（關(guān)系數(shù)據(jù)庫的設(shè)計方法）和星型模式（用于維度建模）。

圖片

圖片

接下來，將這些邏輯數(shù)據(jù)模型轉(zhuǎn)換為數(shù)據(jù)庫結(jié)構(gòu)，例如將實體轉(zhuǎn)換為表、將屬性轉(zhuǎn)換為列、將關(guān)系轉(zhuǎn)換為外鍵約束等。

圖片

數(shù)據(jù)建模完成后，第一步是設(shè)計數(shù)據(jù)暫存區(qū)，以便首先為數(shù)據(jù)倉庫提供高質(zhì)量的聚合數(shù)據(jù)，并在后續(xù)所有數(shù)據(jù)加載過程中定義和控制源到目標(biāo)的數(shù)據(jù)流。

設(shè)計步驟還包括創(chuàng)建數(shù)據(jù)訪問和使用策略、建立元數(shù)據(jù)目錄、業(yè)務(wù)術(shù)語表等。

4.數(shù)據(jù)倉庫開發(fā)與上線

該步驟從定制和配置所選技術(shù)（DW平臺、數(shù)據(jù)轉(zhuǎn)換技術(shù)、數(shù)據(jù)安全軟件等）開始。然后，該公司開發(fā)ETL管道并引入數(shù)據(jù)安全性。

引入所有主要組件后，它們必須與現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施（數(shù)據(jù)源、BI和分析軟件、數(shù)據(jù)湖等）以及彼此集成，以便之后可以遷移數(shù)據(jù)。

在最終匯總之前，必須確保最終用戶能夠處理新技術(shù)環(huán)境，這意味著他們所有人都了解可用的信息、其含義、如何訪問這些信息以及使用哪些工具。針對標(biāo)準(zhǔn)用戶和高級用戶的定制培訓(xùn)以及支持文檔將對此有所幫助。除此之外，還需要：

• 測試數(shù)據(jù)倉庫性能、ETL等。
• 驗證數(shù)據(jù)質(zhì)量（數(shù)據(jù)易讀性、完整性、安全性等）
• 確保用戶有權(quán)訪問數(shù)據(jù)倉庫等。

5.上線后支持與維護(hù)

初始部署后，需要關(guān)注業(yè)務(wù)用戶并提供持續(xù)的支持和培訓(xùn)。隨著時間的推移，必須測量數(shù)據(jù)倉庫性能指標(biāo)和用戶滿意度評分，因為它將幫助您確保數(shù)據(jù)倉庫的長期健康和增長。

需要可靠的技術(shù)合作伙伴來實現(xiàn)您的數(shù)據(jù)倉庫項目嗎？

數(shù)據(jù)倉庫項目的關(guān)鍵角色

專案經(jīng)理

• 定義數(shù)據(jù)倉庫項目及其可交付成果的范圍。
• 概述項目計劃，包括預(yù)算估算、項目資源和時間表。
• 管理日常數(shù)據(jù)倉庫項目任務(wù)和活動（資源協(xié)調(diào)、項目狀態(tài)跟蹤、項目進(jìn)度和溝通瓶頸等）

業(yè)務(wù)分析師

• 確定業(yè)務(wù)用戶的需求并確保將其清楚地傳達(dá)給技術(shù)團(tuán)隊。
• 進(jìn)行采訪并記錄下來。
• 協(xié)助數(shù)據(jù)建模師和DBA進(jìn)行數(shù)據(jù)建模、數(shù)據(jù)映射活動等。

數(shù)據(jù)建模師

• 執(zhí)行詳細(xì)的數(shù)據(jù)分析。
• 設(shè)計數(shù)據(jù)倉庫的整體技術(shù)架構(gòu)以及具體的每個組件（數(shù)據(jù)暫存、數(shù)據(jù)存儲、數(shù)據(jù)模型等）。
• 監(jiān)督架構(gòu)開發(fā)和實施。
• 就技術(shù)堆棧提供建議。
• 記錄整個解決方案及其組成部分的范圍。

數(shù)據(jù)倉庫數(shù)據(jù)庫管理員（DBA）

• 將邏輯模型轉(zhuǎn)換為物理表結(jié)構(gòu)。
• 確保數(shù)據(jù)庫的操作支持，調(diào)整數(shù)據(jù)庫性能以確保數(shù)據(jù)的可用性和完整性。
• 規(guī)劃數(shù)據(jù)備份/恢復(fù)計劃等。

ETL開發(fā)人員

• 規(guī)劃、開發(fā)和設(shè)置提取、轉(zhuǎn)化和裝載管道。

質(zhì)量保證工程師

• 制定測試策略以確保數(shù)據(jù)倉庫的正常運行和數(shù)據(jù)準(zhǔn)確性。
• 識別潛在錯誤并確保其解決。
• 對開發(fā)的DW解決方案進(jìn)行測試。

除了這些關(guān)鍵角色之外，其他專業(yè)人員也可能參與該項目，例如解決方案架構(gòu)師、技術(shù)支持專家、DevOps工程師、數(shù)據(jù)管理員、數(shù)據(jù)倉庫培訓(xùn)師等。值得注意的是，有時個別工作人員可以扮演多種角色。

需要考慮的3種領(lǐng)先數(shù)據(jù)倉庫技術(shù)

使用不適當(dāng)?shù)募夹g(shù)是數(shù)據(jù)倉庫項目失敗的原因之一。除了需要正確識別應(yīng)用場景之外，還需要從市場上眾多看似相似的選項中選擇最佳的軟件。在這里，我們回顧了具有很高客戶滿意度、在各種市場研究報告中獲得高度評價并遵循數(shù)據(jù)倉庫現(xiàn)代化原則的數(shù)據(jù)倉庫服務(wù)和平臺。但所描述的功能并不詳盡：在制定其描述時，我們主要關(guān)注其數(shù)據(jù)集成功能、與分析和商業(yè)智能服務(wù)的內(nèi)置連接、可靠性和數(shù)據(jù)安全性。

AmazonS3

• 提供聯(lián)合查詢功能以及與AmazonS3的內(nèi)置云數(shù)據(jù)集成，以跨操作數(shù)據(jù)庫和數(shù)據(jù)湖查詢和分析任何類型、格式和大小的數(shù)據(jù)。
• 允許使用AWSDataPipeline、AWSDataMigrationServices、AWSGlue和AWSKinesisFirehose在AWS服務(wù)內(nèi)部和外部以流和批次方式提取和轉(zhuǎn)換數(shù)據(jù)。
• 提供與AWS分析服務(wù)（AWSLakeFormation、AmazonEMR、AmazonQuickSight、AmazonSageMaker等）的本機(jī)集成。
• 提供內(nèi)置的容錯和災(zāi)難恢復(fù)功能（自動集群快照、快照復(fù)制、持續(xù)集群監(jiān)控和替換等）。
• 通過表的精細(xì)權(quán)限、多因素用戶身份驗證、數(shù)據(jù)加密等保護(hù)數(shù)據(jù)。
• 滿足SOC1、SOC2、SOC3、PCIDSSLevel1、HIPAA、ISO27001等合規(guī)性要求。
• 允許分離存儲和計算資源。

谷歌BigQuery

• 通過CloudFusion提供與150多個數(shù)據(jù)源的本機(jī)數(shù)據(jù)集成
• 提供多云分析支持（由GoogleBigQuery(Omni)提供），可跨AWS和Azure（即將推出）查詢數(shù)據(jù)，而無需復(fù)制數(shù)據(jù)。
• 與Looker和整個GoogleCloudAnalytics生態(tài)系統(tǒng)的本機(jī)集成。
• 對冷數(shù)據(jù)和熱數(shù)據(jù)以及存儲和計算資源分別收費。
• 默認(rèn)情況下，在多個位置免費提供復(fù)制存儲。
• 提供對數(shù)據(jù)集、表、視圖、多因素用戶身份驗證、數(shù)據(jù)加密（默認(rèn)）等的精細(xì)權(quán)限。
• 滿足HIPAA、ISO27001、PCIDSS、SOC1、SOC2等合規(guī)性要求。

Azure

• 通過Azure數(shù)據(jù)工廠擁有95多個用于本地和云數(shù)據(jù)源的本機(jī)連接器。
• 通過AzureSynapseLink提供對本機(jī)HTAP的支持。
• 使用內(nèi)置的ApacheSpark和Azure流分析事件處理引擎支持大數(shù)據(jù)和流數(shù)據(jù)的引入和處理。
• 與PowerBI、Azure機(jī)器學(xué)習(xí)、Azure認(rèn)知服務(wù)、AzureDataLakeStorage等的本機(jī)集成。
• 允許單獨擴(kuò)展存儲和計算。
• 提供內(nèi)置的容錯和災(zāi)難恢復(fù)功能（自動快照、異地備份等）。
• 默認(rèn)數(shù)據(jù)安全功能（模式、表、視圖、單個列、過程等的細(xì)化權(quán)限、多因素用戶身份驗證、數(shù)據(jù)加密等）。
• 滿足HIPAA、ISO27001、PCIDSS、SOC1、SOC2等合規(guī)性要求。

確保數(shù)據(jù)倉庫項目成功的技巧

進(jìn)行敏捷數(shù)據(jù)倉庫開發(fā)

數(shù)據(jù)倉庫開發(fā)項目非常消耗時間和資源，因此選擇敏捷方法（這意味著通過增量投資將項目分解為迭代）盡早開始獲得投資回報，并最大限度地降低風(fēng)險并避免大量的前期投資。

確保IT與業(yè)務(wù)之間的緊密合作

數(shù)據(jù)倉庫的成功是IT和業(yè)務(wù)專家的共同努力，他們共同負(fù)責(zé)從收集業(yè)務(wù)需求到數(shù)據(jù)倉庫部署和發(fā)布后支持的計劃。

關(guān)注最終用戶

為最終用戶提供可靠的支持文檔、培訓(xùn)和自助數(shù)據(jù)訪問工具，確保數(shù)據(jù)倉庫的高采用水平。

考慮專家建議

構(gòu)建數(shù)據(jù)倉庫通常需要將工作負(fù)載遷移到云，這并不容易，因為它需要特定的技能和專業(yè)知識。因此，當(dāng)開始開發(fā)項目時，不要忽視向云遷移專家尋求建議。

小結(jié)

精心構(gòu)建的現(xiàn)代數(shù)據(jù)倉庫可以幫助組織實現(xiàn)當(dāng)前的許多數(shù)據(jù)管理和分析目標(biāo)，包括打破數(shù)據(jù)孤島、實時分析、交互式報告和受保護(hù)的企業(yè)數(shù)據(jù)。