云計算的偉大之處就在于在進行大數(shù)據(jù)處理時不必再向以往一樣購買大量的服務(wù)器集群，租用服務(wù)器處理大數(shù)據(jù)更加利用控制成本。Hadoop作為一個重量級的分布式處理開源框架已經(jīng)在大數(shù)據(jù)處理領(lǐng)域有所作為，企業(yè)希望利用Hadoop來規(guī)劃其自身未來數(shù)據(jù)處理的藍圖。從EMC、Oracle到Microsoft，幾乎所有高科技廠商都在過去幾個月中宣布了自己以Hadoop為基礎(chǔ)的大數(shù)據(jù)戰(zhàn)略。現(xiàn)今Hadoop已經(jīng)成為IT商場吸引客戶的熱點詞匯。

Hadoop的成長得到了個人開發(fā)者、初創(chuàng)公司和大企業(yè)的支持。這也給予用戶長時間使用Hadoop提供了潛在的信心。但是由于不同廠商對代碼的持續(xù)改善也帶來產(chǎn)品相互無法操作的問題。Hadoop目前的狀況和Android極其類似。

大多數(shù)企業(yè)并未真正了解大數(shù)據(jù)

“大數(shù)據(jù)”的優(yōu)勢并不只是規(guī)模，還在于性能，無論數(shù)據(jù)集合的維數(shù)有多少。這對于直接分析非常重要，例如評估某位客戶在網(wǎng)站上的行為來更好地了解他們需要什么支持或?qū)ふ沂裁串a(chǎn)品，或者搞清當前天氣和其他條件對于送貨路線和時間安排的影響。這正是服務(wù)器集群、高性能文件系統(tǒng)和并行處理的用武之地。過去，這些技術(shù)過于昂貴，只能為大企業(yè)所采用。今天，虛擬化和商用硬件大大降低了使用這些技術(shù)的成本，從而使“大數(shù)據(jù)”可為中小企業(yè)所用。

那些較小的企業(yè)還有另一條利用“大數(shù)據(jù)”分析的途徑——云。“大數(shù)據(jù)”云服務(wù)開始出現(xiàn)，提供迅速、高效執(zhí)行分析的平臺和工具。

Capgemini的CTO Joe Coyle就表示大數(shù)據(jù)將成為未來趨勢，但許多企業(yè)還不明白這其中的含義。客戶詢問最多的就是云計算和大數(shù)據(jù)這兩個概念現(xiàn)今在Hadoop技術(shù)大熱的同時業(yè)界也發(fā)出了不同的聲音。一些廠商指出企業(yè)有些過于熱炒Hadoop的相關(guān)概念了。搭建和維護Hadoop集群的復(fù)雜性需要相關(guān)從業(yè)人員專業(yè)知識的支持，而雇傭相關(guān)人員的代價是昂貴的。JP摩根大通總經(jīng)理Larry Feinsmith日前曾表示，他們不僅愿意聘用合格的專業(yè)人士，還會提供比業(yè)界高出10%的優(yōu)厚待遇。

并不是所有行業(yè)都應(yīng)部署Hadoop

制造業(yè)務(wù)本身以及產(chǎn)品生命周期管理通常會給制造業(yè)的ERP和庫存系統(tǒng)制造大量的關(guān)系和非關(guān)系數(shù)據(jù)。企業(yè)都希望擁有一個完美的大數(shù)據(jù)收集和分析解決方案，但是并不是所有企業(yè)都一定要即刻轉(zhuǎn)換到Hadoop。

通用電氣智能平臺部門已經(jīng)構(gòu)建了檢測軟件以收集從復(fù)雜制造業(yè)中產(chǎn)生的各種數(shù)據(jù)。這一舉措也推動了其自身Proficy Historian 4.5軟件更快的發(fā)展。Proficy Historian承諾其提供的方法可比使用Hadoop更可靠。通用公司企業(yè)數(shù)據(jù)管理部的Brian Courtney表示公司現(xiàn)成的解決方案可提供一個媲美Hadoop的環(huán)境，同時比Hadoop更具優(yōu)勢的是他們的成本更低，同時要比Hadoop更好駕馭。

通用電氣擁有大量的歷史數(shù)據(jù)，這些歷史數(shù)據(jù)大多來自生產(chǎn)和測試階段。Proficy Historian用來處理像波形一樣源源不斷的由產(chǎn)品制造和測試產(chǎn)生的關(guān)系和非關(guān)系數(shù)據(jù)，并可善加利用以便預(yù)測可能會發(fā)生的問題。

舉例來說，當渦輪發(fā)動機啟動時，Proficy Historian可檢測并查看相應(yīng)的電子簽名。在正常啟動并進行負載測試時如果有異常會發(fā)生怎樣的狀況?之前有類似的狀況嗎?當發(fā)現(xiàn)有和以往類似的系統(tǒng)故障時還可以查看解決此故障在以往所花費的時間，以便制造商選擇他們排除錯誤的優(yōu)先級。Proficy Historian還可以通過和以往的歷史數(shù)據(jù)進行對比，以探究過往是否有類似的問題，并提前生成未來可能發(fā)生那些其他異常的報告。Brian Courtney說到。

Proficy軟件的新版本旨在處理更多大數(shù)據(jù)。Proficy的早期版本支持200萬個標簽，現(xiàn)今Proficy已支持多達1500萬個標簽。

亞馬遜部署HPCC在其云計算平臺

亞馬遜已經(jīng)將其云計算平臺上的運行軟件調(diào)整為HPCC。HPCC是LexisNexis公司推出的一款開源的數(shù)據(jù)處理方案。這一舉措也讓HPCC系統(tǒng)替代現(xiàn)今流行的Hadoop想法又更進一步。

HPCC系統(tǒng)的CTO Armando Escalante在9月曾表示盡管HPCC現(xiàn)今還不能像Hadoop那樣吸引大型企業(yè)和政府，但這也促使HPCC的開發(fā)者生態(tài)環(huán)境的發(fā)展，就好象當年Hadoop一樣。

現(xiàn)今也有一些分析人士看好HPCC系統(tǒng)，不過HPCC社區(qū)要想成為像Hadoop社區(qū)那樣充滿活力還需要很長的一段路要走。現(xiàn)今Amazon已經(jīng)為HPCC在AWS或云中運行帶來了一個良好的范例，HPCC支持AWS的Elastic MapReduce。Amazon表示未來將帶來更多的驚喜。

從技術(shù)角度看，現(xiàn)今Amazon Web Services只運行了HPCC的處理大數(shù)據(jù)的部分方式——Thor Data Refinery Cluster。該平臺還包括另一種處理數(shù)據(jù)的方式Roxy Rapid Data Delivery Cluster。Roxy作為數(shù)據(jù)倉庫和數(shù)據(jù)查詢層起到的作用類似于Apache的Hive和HBase。

Hadoop項目中的HBase和Hive都擁有自己的語言。而HPCC系統(tǒng)平臺則全部采用被稱之為ECL(Enterprise Control Language)的語言。