項(xiàng)目背景

最近在處理一個(gè)商業(yè)銀行的大數(shù)據(jù)項(xiàng)目，旨在構(gòu)建大數(shù)據(jù)資源池，項(xiàng)目邊界確認(rèn)過程中，針對項(xiàng)目的定位出現(xiàn)了兩種不同的觀點(diǎn)，對大數(shù)據(jù)的在傳統(tǒng)行業(yè)的應(yīng)用有了新的啟發(fā)。觀點(diǎn)一、大數(shù)據(jù)作為操作數(shù)據(jù)歷史庫，存儲操作數(shù)據(jù)庫數(shù)據(jù)，提供歷史數(shù)據(jù)長周期，快速檢索的歷史數(shù)據(jù)存儲和快速查詢服務(wù)。觀點(diǎn)二、大數(shù)據(jù)作為數(shù)據(jù)倉庫的的歷史庫，解決數(shù)據(jù)倉庫歷史數(shù)據(jù)存儲的問題，構(gòu)建一個(gè)大容量，高可用的數(shù)據(jù)存儲平臺，為全量數(shù)據(jù)分析和知識挖掘提供服務(wù)。作為操作數(shù)據(jù)庫的歷史庫，已經(jīng)完成了項(xiàng)目的實(shí)施，但是作為數(shù)據(jù)倉庫的歷史庫之前的定位一直是取代，基于大數(shù)據(jù)做數(shù)據(jù)分析和知識挖掘，現(xiàn)在卻找到了一個(gè)新的切入點(diǎn)，才發(fā)現(xiàn)，原來二者并不矛盾。

數(shù)據(jù)倉庫與操作數(shù)據(jù)庫

　　數(shù)據(jù)倉庫的定義并無統(tǒng)一的說法，通常的到人們認(rèn)可的概念是：一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，支持管理者的決策過程。簡單點(diǎn)說數(shù)據(jù)倉庫就是一種語義上的數(shù)據(jù)存儲，它充當(dāng)決策支持?jǐn)?shù)據(jù)模型的物理實(shí)現(xiàn)，并存放于企業(yè)戰(zhàn)略決策相關(guān)的重要信息。

　　數(shù)據(jù)倉庫不同于操作數(shù)據(jù)庫，操作數(shù)據(jù)庫的主要任務(wù)是執(zhí)行聯(lián)機(jī)事務(wù)處理和查詢處理，稱作聯(lián)機(jī)事務(wù)處理（OLTP）系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)在數(shù)據(jù)分析和決策支持方面為用戶或者機(jī)器學(xué)習(xí)提供服務(wù)，即聯(lián)機(jī)分析處理（OLAP）。二者的主要區(qū)別在于五個(gè)大的方面:

　　1）用戶系統(tǒng)的面向性：客戶與市場；

　　2）數(shù)據(jù)內(nèi)容：當(dāng)前與歷史；

　　3）數(shù)據(jù)庫設(shè)計(jì)：ER與面向主題

　　4）視圖：當(dāng)前與全景

　　5）訪問模式：原子事務(wù)與只讀操作

　　傳統(tǒng)模式下數(shù)據(jù)倉庫服務(wù)器通常采用關(guān)系型數(shù)據(jù)庫，也就是說從軟件實(shí)現(xiàn)的角度，數(shù)據(jù)倉庫和操作型數(shù)據(jù)采用的模式是一樣的。這就決定了，數(shù)據(jù)倉庫和操作數(shù)據(jù)庫面臨同樣的問題：行業(yè)壟斷帶來的成本依賴、數(shù)據(jù)模型帶來的存儲瓶頸和運(yùn)算瓶頸。

大數(shù)據(jù)的位置

　　數(shù)據(jù)倉庫系統(tǒng)應(yīng)用大數(shù)據(jù)技術(shù)的模式還在探索，但是目前總結(jié)了幾個(gè)方面的應(yīng)用。

　　1）大數(shù)據(jù)作為數(shù)據(jù)倉庫的歷史數(shù)據(jù)存儲系統(tǒng)：解決數(shù)據(jù)倉庫只能存儲短時(shí)段數(shù)據(jù)的問題

　　2）構(gòu)建基于大數(shù)據(jù)平臺的數(shù)據(jù)模型，致力于低成本的數(shù)據(jù)挖掘體系：傳統(tǒng)BI的瓶頸在于軟硬件綁定、商業(yè)壟斷和處理性能，基于但數(shù)據(jù)開源體系的算法模型和并行計(jì)算能力，構(gòu)建全量的數(shù)據(jù)分析和挖掘，最終目標(biāo)在于取代原有高成本的BI體系，為企業(yè)降低負(fù)擔(dān)。

　　3) 實(shí)時(shí)+離線模式的確立，可以充分利用企業(yè)已有的IT資源設(shè)施，充分利用成熟的BI技術(shù)，從而為企業(yè)提供更好的服務(wù)。

遺留問題

　　大數(shù)據(jù)定位為離線的數(shù)據(jù)倉庫，將會出現(xiàn)三級數(shù)據(jù)存儲模型，實(shí)時(shí)操作庫-數(shù)據(jù)倉庫-大數(shù)據(jù)資源池，目標(biāo)有定位已經(jīng)明確，但是具體實(shí)施仍要探索，未完待續(xù)...

原文鏈接：http://www.cnblogs.com/hadoopdev/p/3545290.html