對于動不動就憂天的杞人來說，如此龐大的數(shù)字可能是不詳?shù)模A(yù)示著世界末日的來臨。而對于樂觀主義者來說，這些數(shù)字卻是一座信息金礦，隨著技術(shù)的進(jìn)步，其中所蘊(yùn)含的財富會越來越容易被挖掘出來。

進(jìn)入“大數(shù)據(jù)”時代，出現(xiàn)了不少新興的數(shù)據(jù)挖掘技術(shù)，使得對數(shù)據(jù)財富的儲存、處理和分析變得比以往任何時候都更便宜、更快速了。只要有了超級計算環(huán)境，那么大數(shù)據(jù)技術(shù)就能被眾多的企業(yè)所用，從而改變很多行業(yè)經(jīng)營業(yè)務(wù)的的方式。

我們對大數(shù)據(jù)技術(shù)的定義是：利用一些非傳統(tǒng)的數(shù)據(jù)篩選工具(包括但不限于Hadoop)對大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集合進(jìn)行挖掘，以便提供有用的數(shù)據(jù)洞察。

大數(shù)據(jù)技術(shù)的概念和“云計算”一樣，也存在著很多的炒作和大量的不確定性。為此，我們咨詢了多位分析師和研究大數(shù)據(jù)的專家，讓他們解釋大數(shù)據(jù)技術(shù)是什么和不是什么，以及大數(shù)據(jù)技術(shù)對于數(shù)據(jù)挖掘的未來究竟意味著什么等諸多問題。

大數(shù)據(jù)技術(shù)的發(fā)展背景

對大企業(yè)而言，大數(shù)據(jù)的興起部分是因為計算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次，內(nèi)存的成本也在直線下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計算機(jī)聚合成服務(wù)器集群越來越簡單。IDC的數(shù)據(jù)庫管理分析師CarlOlofson認(rèn)為，這三大因素的結(jié)合便催生了大數(shù)據(jù)。

“我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，”他說。“過去有些大型超級計算機(jī)就曾涉足過繁重的多處理系統(tǒng)，一起構(gòu)建成緊密聚合的集群，但由于都是專門設(shè)計的硬件，所以其成本動輒數(shù)十萬甚至數(shù)百萬美元。而現(xiàn)在，我們利用普通的商品化硬件也能獲得同樣的計算能力。這便幫助我們能夠更快、更便宜地處理更多的數(shù)據(jù)。”

當(dāng)然，并非所有擁有龐大數(shù)據(jù)倉庫的企業(yè)都可以說他們正在使用大數(shù)據(jù)技術(shù)。IDC認(rèn)為，某項技術(shù)要想成為大數(shù)據(jù)技術(shù)，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個“V”判據(jù)中的兩個：多樣性(variety)、體量(volume)和速度(velocity)。

多樣性是指，數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。而速度則是指數(shù)據(jù)處理的速度必須很快。Olofson說，大數(shù)據(jù)“并非總是說有數(shù)百個TB才算得上。根據(jù)實(shí)際使用情況，有時候數(shù)百個GB的數(shù)據(jù)也可稱為大數(shù)據(jù)，這主要要看它的第三個維度，也就是速度或者時間維度。假如我能在1秒之內(nèi)分析處理300GB的數(shù)據(jù)，而通常情況下卻需要花費(fèi)1個小時的話，那么這種巨大變化所帶來的結(jié)果就會增加極大的價值。所謂大數(shù)據(jù)技術(shù)，就是至少實(shí)現(xiàn)這三個判據(jù)中的兩個的可承受得起的一種應(yīng)用。” #p# 

與開源之關(guān)系

“很多人都認(rèn)為，Hadoop和大數(shù)據(jù)是同義詞。但這是個錯誤，”Olofson解釋說。例如Teradata、MySQL和一些“聰明的集群技術(shù)”的實(shí)施案例都沒有使用Hadoop，但也被認(rèn)為是大數(shù)據(jù)的實(shí)施案例。

作為大數(shù)據(jù)的一種應(yīng)用環(huán)境，Hadoop之所以能夠引起人們的注意，是因為它是基于MapReduce環(huán)境的，這是超算圈里很常用的一種簡化環(huán)境，主要是由谷歌所創(chuàng)建的一個項目。Hadoop是和各種Apache項目密切相關(guān)的混合實(shí)施環(huán)境，其中包含了在MapReduce環(huán)境下服務(wù)器所創(chuàng)建的HBase數(shù)據(jù)庫。

軟件開發(fā)人員一般會用一切利用到Hadoop以及相似的高級技術(shù)的手段來響應(yīng)——而這些技術(shù)很多都是在開源社區(qū)里開發(fā)的。“他們創(chuàng)建了一個令人眼花繚亂、變化多端的東西，即所謂的NoSQL數(shù)據(jù)庫，該數(shù)據(jù)庫的鍵值多數(shù)都已利用了各種技術(shù)在處理能力、多樣化，或者數(shù)據(jù)庫規(guī)模上做了優(yōu)化的，”Olofson說。

開源技術(shù)一般是沒有商業(yè)支持的，“所以這些東西還必須讓其進(jìn)化一段時間，逐漸剔除各種缺陷，而這一般需要數(shù)年的時間。這就是說，羽毛未豐的大數(shù)據(jù)技術(shù)目前還無法在普通市場上普及。”與此同時，IDC預(yù)計至少有三家商業(yè)廠商會在年底之前對Hadoop提供某種類型的支持服務(wù)。還有其他一些廠商，如Datameer等，也會提供帶有Hadoop組件的分析工具，允許企業(yè)開發(fā)他們自己的應(yīng)用。例如Cloudera和Tableau等已經(jīng)在其產(chǎn)品中用到了Hadoop。