對(duì)于大數(shù)據(jù)，串行的處理方式難以滿足人們的要求，現(xiàn)在主要采用并行計(jì)算方式。現(xiàn)有的并行計(jì)算可以分為兩種：

• 細(xì)粒度的并行計(jì)算。這里細(xì)粒度主要是指指令或進(jìn)程級(jí)別，由于GPU比CPU擁有更強(qiáng)的并行處理能力，人們將一些任務(wù)交給GPU并行處理，一些GPU制造商也推出了方便程序員使用的編程模型，如NVIDIA推出的CUDA等。
• 粗粒度的并行計(jì)算。這里粗粒度指的是任務(wù)級(jí)別，人們將工作分布到不同機(jī)器中執(zhí)行，最近流行的網(wǎng)格計(jì)算、分布式計(jì)算都屬于粗粒度級(jí)別。

由于現(xiàn)有GPU編程模型還未完善，開發(fā)人員需要考慮大量的并行細(xì)節(jié)且任務(wù)較重，因此未得到流行。而一些新推出的分布式編程模型以其簡(jiǎn)單、方便等特點(diǎn)受到開發(fā)人員的歡迎并變得炙手可熱，這里我們主要討論粗粒度的并行計(jì)算。

由于大數(shù)據(jù)都分布在集群中，因此對(duì)數(shù)據(jù)的處理和分析需要在集群中進(jìn)行，但是在多臺(tái)機(jī)器上對(duì)分布式數(shù)據(jù)進(jìn)行分析會(huì)產(chǎn)生巨大的性能開銷，即使采用千兆比特或萬兆比特帶寬的網(wǎng)絡(luò)，隨機(jī)讀取速度和連續(xù)讀取速度都會(huì)比內(nèi)存慢幾個(gè)數(shù)量級(jí)。但是，現(xiàn)在高速局域網(wǎng)技術(shù)使得網(wǎng)絡(luò)讀取速度比硬盤讀取要快很多。因此，將數(shù)據(jù)存儲(chǔ)在其他節(jié)點(diǎn)上比存儲(chǔ)在硬盤上的性能要好，而且還可以在多個(gè)節(jié)點(diǎn)上并行處理數(shù)據(jù)集。

對(duì)大數(shù)據(jù)分布處理會(huì)帶來一些問題，首先就是節(jié)點(diǎn)間通信對(duì)并行處理的代價(jià)，一些操作如搜索、計(jì)數(shù)、部分聚集、聯(lián)合等可以在每個(gè)節(jié)點(diǎn)上獨(dú)立執(zhí)行。單個(gè)節(jié)點(diǎn)處理后的結(jié)果需要合并，因此節(jié)點(diǎn)間的通信是不可避免的，但是并不是所有的聚集操作都能分散成可以獨(dú)立操作的子操作，如求得所有數(shù)據(jù)的中位數(shù)。不過，大部分重要的操作都有分布式算法來減少節(jié)點(diǎn)間的通信。

節(jié)點(diǎn)間負(fù)載不平衡也是出現(xiàn)的主要問題。理想情況下，每個(gè)節(jié)點(diǎn)的計(jì)算量是相同的，否則工作量最大的節(jié)點(diǎn)將決定整個(gè)任務(wù)的完成時(shí)間，這個(gè)時(shí)間往往比負(fù)載平衡情況下的時(shí)間要長(zhǎng)。最壞的情況下，所有的工作都集中在某個(gè)機(jī)器上，無法體現(xiàn)出并行的優(yōu)勢(shì)。數(shù)據(jù)在節(jié)點(diǎn)間如何分布對(duì)負(fù)載平衡產(chǎn)生影響，例如，一個(gè)包含1000個(gè)傳感器10年內(nèi)的觀測(cè)值的數(shù)據(jù)集，傳感器每15秒收集一次數(shù)據(jù)，這樣一個(gè)傳感器10年內(nèi)將產(chǎn)生兩千多萬個(gè)觀測(cè)值。我們將數(shù)據(jù)根據(jù)傳感器并按時(shí)間順序分布到10個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)包含100個(gè)傳感器的觀測(cè)值，如果對(duì)某個(gè)傳感器收集的數(shù)據(jù)進(jìn)行操作，那么大部分節(jié)點(diǎn)將處于閑置狀態(tài)。如果先按時(shí)間順序?qū)?shù)據(jù)進(jìn)行分布，那么根據(jù)時(shí)間的操作也會(huì)造成負(fù)載不平衡。

分布式系統(tǒng)的另一個(gè)問題就是可靠性。就像擁有四個(gè)引擎的飛機(jī)比擁有兩個(gè)引擎的飛機(jī)更容易出現(xiàn)引擎故障一樣，一個(gè)擁有10個(gè)節(jié)點(diǎn)的集群很容易出現(xiàn)節(jié)點(diǎn)故障。這可以通過在節(jié)點(diǎn)間復(fù)制數(shù)據(jù)來解決，對(duì)數(shù)據(jù)進(jìn)行復(fù)制，既可以提高數(shù)據(jù)分析的效率，也可以通過冗余來應(yīng)對(duì)節(jié)點(diǎn)故障。當(dāng)然，數(shù)據(jù)集越大，對(duì)數(shù)據(jù)副本的管理和維護(hù)也越困難。

目前對(duì)大數(shù)據(jù)處理和分析的應(yīng)用更多的是集中在數(shù)據(jù)倉(cāng)庫技術(shù)、預(yù)測(cè)分析、實(shí)時(shí)分析、商業(yè)智能、數(shù)據(jù)統(tǒng)計(jì)等方面。這些需求對(duì)企業(yè)有巨大的幫助。

將PB級(jí)的數(shù)據(jù)存儲(chǔ)起來并不是一件困難的事情，但是如何進(jìn)行高效的存儲(chǔ)并不簡(jiǎn)單。首先要考慮的是，如何組織數(shù)據(jù)的結(jié)構(gòu)使其能夠更多地支持上層的軟件，而不需要對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)和重新組織。當(dāng)數(shù)據(jù)需要發(fā)生轉(zhuǎn)換的時(shí)候避免因轉(zhuǎn)儲(chǔ)、抽取、整合等而帶來的延遲。

有效的預(yù)測(cè)分析技術(shù)，尤其是實(shí)時(shí)分析對(duì)企業(yè)的決策有很大的幫助。例如，超市可以根據(jù)龐大的用戶歷史消費(fèi)記錄來預(yù)測(cè)某一用戶下次購(gòu)買商品的傾向，從而在結(jié)賬的時(shí)候可以專門針對(duì)某一用戶打印其關(guān)心的優(yōu)惠券。足球隊(duì)管理層可以根據(jù)用戶的購(gòu)票記錄為其推薦更人性化的月票、季票等套票。

目前，像SAS、SPSS等傳統(tǒng)數(shù)據(jù)分析軟件因其數(shù)據(jù)處理能力受限于單機(jī)的計(jì)算能力，對(duì)大數(shù)據(jù)的處理顯得力不從心。IBM Netezza等新興的數(shù)據(jù)分析軟件往往需要支付昂貴的許可費(fèi)用，因此Hadoop，MapReduce，R等開源的大數(shù)據(jù)分析工具受到越來越多的關(guān)注和青睞。

相比于商業(yè)軟件，開源軟件完全免費(fèi)且不需要支付昂貴的許可費(fèi)用，另外在其背后還擁有龐大的開源團(tuán)隊(duì)的支持。但是能否完全跟得上市場(chǎng)的需求和發(fā)展速度是關(guān)鍵性的問題，畢竟這些軟件不像商業(yè)軟件那樣有巨大的利益驅(qū)動(dòng)推動(dòng)它們的發(fā)展。