我是一名從事大數(shù)據(jù)項(xiàng)目的IT系統(tǒng)分析師。在深入這個(gè)項(xiàng)目前需要了解些什么呢?

[[145427]]

學(xué)習(xí)大數(shù)據(jù)的最佳方法就是先從了解信息系統(tǒng)是如何工作著手，尤其是數(shù)據(jù)庫和基礎(chǔ)設(shè)施。同樣在開始前還需要了解大數(shù)據(jù)工具，如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop與Mesos。

系統(tǒng)分析師需要明白如何組織、管理和保護(hù)數(shù)據(jù)。在市面上有幾十款數(shù)據(jù)管理產(chǎn)品可以用于管理數(shù)據(jù)。你的大數(shù)據(jù)數(shù)據(jù)庫可能包含了各種來源的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化 數(shù)據(jù)——數(shù)據(jù)倉庫、Hadoop、NoSQL、內(nèi)存數(shù)據(jù)、文件以及應(yīng)用程序——所以你必須學(xué)會(huì)組織數(shù)據(jù)，以便系統(tǒng)有效的處理他們。確保你的主數(shù)據(jù)一致性， 以避免出現(xiàn)多個(gè)版本的數(shù)據(jù)——多個(gè)不同步的數(shù)據(jù)庫。

數(shù)據(jù)保護(hù)同樣重要;要熟悉組織的數(shù)據(jù)安全處理過程，同樣還需要了解安全、合規(guī)性以及治理流程。根據(jù)數(shù)據(jù)敏感程度的不同、考慮屏蔽、編校或加密保護(hù)。

大數(shù)據(jù)源的定義

數(shù)據(jù)倉庫HadoopNoSQL內(nèi)存數(shù)據(jù)文件數(shù)據(jù)應(yīng)用程序數(shù)據(jù)

在接觸這個(gè)項(xiàng)目之前的最后一步，考察客戶對(duì)服務(wù)質(zhì)量的要求。他們需要分析多大的數(shù)據(jù)，以及這些數(shù)據(jù)的響應(yīng)速度。例如，對(duì)于大型數(shù)據(jù)庫，近乎實(shí)時(shí)響應(yīng)的需求會(huì) 需要將其放置在內(nèi)存或者閃存緩存中。IBM的BLU Accelerator 和SAP HANA都十分適合在內(nèi)存中快速讀取的應(yīng)用場景。此外，理解你用戶的預(yù)期結(jié)果——他們正試圖得到的答案。如果你知道他們需要的結(jié)果，就可以組織數(shù)據(jù)與系 統(tǒng)，以更有效的達(dá)到目標(biāo)。