建設數據倉庫的八個步驟
作者:佚名
建立數據倉庫是一個解決企業問題的過程,業務人員往往不懂如何建立和使用數據倉庫,發揮其決策支持的作用;信息部門的人員往往又不懂業務,不知道應該建立哪些決策主題,從數據源中抽取哪些數據。因此數據倉庫的項目小組應該由業務人員和信息部門的人員共同組成,雙方需要相互溝通,協作開發數據倉庫。
建設數據倉庫
建立數據倉庫是一個解決企業問題的過程,業務人員往往不懂如何建立和使用數據倉庫,發揮其決策支持的作用;信息部門的人員往往又不懂業務,不知道應該建立哪些決策主題,從數據源中抽取哪些數據。因此數據倉庫的項目小組應該由業務人員和信息部門的人員共同組成,雙方需要相互溝通,協作開發數據倉庫。
開發數據倉庫的過程包括以下幾個步驟。
1.系統分析,確定主題
建立數據倉庫的***個步驟就是通過與業務部門的充分交流,了解建立數據倉庫所要解決的問題的真正含義,確定各個主題下的查詢分析要求。
業務人員往往會羅列出很多想解決的問題,信息部門的人員應該對這些問題進行分類匯總,確定數據倉庫所實現的業務功能。一旦確定問題以后,信息部門的人員還需要確定一下幾個因素:
·操作出現的頻率,即業務部門每隔多長時間做一次查詢分析。
·在系統中需要保存多久的數據,是一年、兩年還是五年、十年。
·用戶查詢數據的主要方式,如在時間維度上是按照自然年,還是財政年。
·用戶所能接受的響應時間是多長、是幾秒鐘,還是幾小時。
由于雙方在理解上的差異,確定問題和了解問題可能是一個需要多次往復的過程,信息部門的人員可能需要做一些原型演示給業務部門的人員看,以最終確定系統將要實現的功能確實是業務部門所需要的。
2.選擇滿足數據倉庫系統要求的軟件平臺
在數據倉庫所要解決的問題確定后,第二個步驟就是選擇合適的軟件平臺,包括數據庫、建模工具、分析工具等。這里有許多因素要考慮,如系統對數據量、響應時間、分析功能的要求等,以下是一些公認的選擇標準:
·廠商的背景和支持能力,能否提供全方位的技術支持和咨詢服務。
·數據庫對大數據量(TB級)的支持能力。
·數據庫是否支持并行操作。
·能否提供數據倉庫的建模工具,是否支持對元數據的管理。
·能否提供支持大數據量的數據加載、轉換、傳輸工具(ETT)。
·能否提供完整的決策支持工具集,滿足數據倉庫中各類用戶的需要。
3.建立數據倉庫的邏輯模型
具體步驟如下:
(1)確定建立數據倉庫邏輯模型的基本方法。
(2)基于主題視圖,把主題視圖中的數據定義轉到邏輯數據模型中。
(3)識別主題之間的關系。
(4)分解多對多的關系。
(5)用范式理論檢驗邏輯數據模型。
(6)由用戶審核邏輯數據模型。
4.邏輯數據模型轉化為數據倉庫數據模型
具體步驟如下:
(1)刪除非戰略性數據:數據倉庫模型中不需要包含邏輯數據模型中的全部數據項,某些用于操作處理的數據項要刪除。
(2)增加時間主鍵:數據倉庫中的數據一定是時間的快照,因此必須增加時間主鍵。
(3)增加派生數據:對于用戶經常需要分析的數據,或者為了提高性能,可以增加派生數據。
(4)加入不同級別粒度的匯總數據:數據粒度代表數據細化程度,粒度越大,數據的匯總程度越高。粒度是數據倉庫設計的一個重要因素,它直接影響到駐留在數據倉庫中的數據量和可以執行的查詢類型。顯然,粒度級別越低,則支持的查詢越多;反之,能支持的查詢就有限。
對數據操作的效率與能得到數據的詳細程度是一對矛盾,通常,人們希望建成的系統既有較高的效率,又能得到所需的詳細資料。實施數據倉庫的一個重要原則就是不要試圖包括所有詳細數據,因為90%的分析需求是在匯總數據上進行的。試圖將粒度細化到***層,只會增加系統的開銷,降低系統的性能。
責任編輯:市場部
來源:
CIO時代網