大數(shù)據(jù)時(shí)代的來(lái)臨已經(jīng)毋庸置疑。數(shù)據(jù)，不僅是企業(yè)的生命線，而且掌控著我們?nèi)粘Ｉ畹拿}搏；大數(shù)據(jù)，則更多描述的是一種趨勢(shì)，一種數(shù)據(jù)量猛增、來(lái)源各異、獲取速度加快、價(jià)值更高的趨勢(shì)。

如何有效地利用這些數(shù)據(jù)，通過(guò)分析獲取其中的價(jià)值，這是擺在我們面前的一個(gè)難題，也是近日在北京舉行的大數(shù)據(jù)世界論壇上眾多與會(huì)者關(guān)注的焦點(diǎn)話(huà)題。

來(lái)自EMC中國(guó)研發(fā)中心的首席技術(shù)官陶波在大會(huì)期間接受了ZDNet記者采訪，暢談了他對(duì)大數(shù)據(jù)給基礎(chǔ)架構(gòu)帶來(lái)的變革、云計(jì)算與大數(shù)據(jù)的整合以及數(shù)據(jù)分析的看法。

變革還是前瞻？

[[39836]]

EMC中國(guó)研發(fā)中心首席技術(shù)官陶波，負(fù)責(zé)云計(jì)算項(xiàng)目研發(fā)。在加入EMC之前，他曾在谷歌中國(guó)工作，負(fù)責(zé)管理谷歌北京研發(fā)團(tuán)隊(duì)和諸如視頻、Youtube等產(chǎn)品的研發(fā)

根據(jù)IDC最新數(shù)字宇宙研究報(bào)告，2011年數(shù)據(jù)信息量將超過(guò)1.8ZB，需要管理的數(shù)據(jù)量將增長(zhǎng)50倍，到2012年大量數(shù)據(jù)將會(huì)以文件的形式存儲(chǔ)……這給我們提出了如何管理如此海量數(shù)據(jù)的巨大難題。

最近IBM對(duì)全球CIO調(diào)查得出的結(jié)論從一個(gè)側(cè)面印證了利用和管理大數(shù)據(jù)的重要性：“從企業(yè)界搜集的大量數(shù)據(jù)中獲得的啟示，并將這些啟示轉(zhuǎn)化為具有實(shí)際商業(yè)利益的競(jìng)爭(zhēng)優(yōu)勢(shì)，對(duì)當(dāng)今公共和私有部門(mén)機(jī)構(gòu)來(lái)說(shuō)至關(guān)重要。”

大量數(shù)據(jù)需要具有高擴(kuò)展性的存儲(chǔ)空間、讓科學(xué)家和分析師們協(xié)同工作的管理平臺(tái)以及執(zhí)行決策的工具。于是存儲(chǔ)廠商們開(kāi)始意識(shí)到，大數(shù)據(jù)正在改變著數(shù)據(jù)存儲(chǔ)。Gartner稱(chēng)大數(shù)據(jù)“既是一項(xiàng)破壞力，也是一個(gè)已經(jīng)影響到傳統(tǒng)認(rèn)識(shí)和業(yè)務(wù)模式的緊迫問(wèn)題。它打亂了現(xiàn)行趨勢(shì)，同時(shí)也代表了公共部門(mén)、業(yè)務(wù)和IT 領(lǐng)導(dǎo)者們無(wú)法忽略的巨大機(jī)會(huì)。”

陶波認(rèn)為，與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)不同的是，大數(shù)據(jù)涉及的量更大，而且包括大量文本等非結(jié)構(gòu)化數(shù)據(jù)的處理。在數(shù)據(jù)分析方面，傳統(tǒng)數(shù)據(jù)庫(kù)只能簡(jiǎn)單地將所有數(shù)據(jù)處理一遍得出結(jié)論，這在數(shù)據(jù)增長(zhǎng)如此迅猛的當(dāng)下顯示是不現(xiàn)實(shí)的，而大數(shù)據(jù)可以對(duì)過(guò)去的數(shù)據(jù)進(jìn)行匯總和抽樣，通過(guò)對(duì)一小段時(shí)間內(nèi)的新數(shù)據(jù)分析得到相對(duì)精確的結(jié)論，現(xiàn)在大多數(shù)企業(yè)都不具備這樣的能力。

陶波強(qiáng)調(diào)說(shuō)：“新技術(shù)進(jìn)入企業(yè)IT中必然會(huì)帶來(lái)一定的沖擊，因此對(duì)于已經(jīng)具備一些數(shù)據(jù)分析能力的公司來(lái)說(shuō)，存儲(chǔ)系統(tǒng)雖然不需要完全重建，但不可避免地要做出一些改變，例如增加橫向擴(kuò)展存儲(chǔ)，甚至BI軟件都要發(fā)生深刻的變化。”

過(guò)去十幾年中我們看到更多的是縱向擴(kuò)展應(yīng)用，而互聯(lián)網(wǎng)領(lǐng)域的很多應(yīng)用都是橫向擴(kuò)展，例如谷歌的集群計(jì)算系統(tǒng)可以管理分布在世界各個(gè)地方的上百萬(wàn)臺(tái)服務(wù)器。

Isilon是EMC在橫向擴(kuò)展NAS方面的一個(gè)武器，它有144個(gè)節(jié)點(diǎn)和15 PB容量，能夠整合應(yīng)用與工作流。Isilon的核心是OneFS橫向擴(kuò)展操作系統(tǒng)，它是單卷容量達(dá)到15PB的單一文件系統(tǒng)，原始存儲(chǔ)利用率達(dá)到80%，減小了瓶頸的發(fā)生。

如何通過(guò)分析獲取價(jià)值？

陶波認(rèn)為，大數(shù)據(jù)分析需要具備四個(gè)條件：首先是數(shù)據(jù)科學(xué)家，這將成為未來(lái)最熱門(mén)的行業(yè)之一；創(chuàng)新，需要不斷提出關(guān)鍵性以及具有啟示性的問(wèn)題；由大數(shù)據(jù)分析師們組成的社區(qū)，協(xié)同地對(duì)數(shù)據(jù)進(jìn)行分析，共享分析結(jié)果；大數(shù)據(jù)產(chǎn)品堆棧，為大數(shù)據(jù)分析提供基礎(chǔ)支撐。

技術(shù)聚合使得大數(shù)據(jù)分析得以實(shí)現(xiàn)，虛擬化已經(jīng)成為云計(jì)算的代表，x86的計(jì)算性能不斷提高。大量數(shù)據(jù)被存儲(chǔ)和處理，云計(jì)算成為大數(shù)據(jù)分析得以成為現(xiàn)實(shí)的重要支撐

早些時(shí)候，EMC收購(gòu)了小型軟件生產(chǎn)商Greenplum，獲得了后者可以用于橫向擴(kuò)展和加速數(shù)據(jù)倉(cāng)庫(kù)以及業(yè)務(wù)分析應(yīng)用的軟件，EMC將其打造成為一個(gè)業(yè)務(wù)分析引擎，用于處理來(lái)自在線以及傳統(tǒng)數(shù)據(jù)庫(kù)來(lái)源的大型數(shù)據(jù)集，圍繞Greenplum創(chuàng)建了EMC Hadoop和Greenplum數(shù)據(jù)庫(kù)等產(chǎn)品，與Oracle以及Teradata已有的加速業(yè)務(wù)分析平臺(tái)相競(jìng)爭(zhēng)。

解析大數(shù)據(jù)對(duì)于新型業(yè)務(wù)分析應(yīng)用存儲(chǔ)所帶來(lái)的影響，首先要區(qū)分傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)多個(gè)流程，例如，標(biāo)準(zhǔn)的提取、轉(zhuǎn)換以及加載流程對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用來(lái)說(shuō)很常見(jiàn)，但達(dá)不到足夠的可擴(kuò)展性和高速度。一款整合了服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)的專(zhuān)用設(shè)備給出了答案——Greenplum HD數(shù)據(jù)計(jì)算一體機(jī)無(wú)縫集成了結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，是Greenplum Database與Apache Hadoop的強(qiáng)強(qiáng)聯(lián)合，而Hadoop則是應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)處理的一個(gè)關(guān)鍵手段，它使得互聯(lián)網(wǎng)企業(yè)專(zhuān)門(mén)為自己業(yè)務(wù)設(shè)計(jì)的一些程序和管理軟件、計(jì)算和分析方式滲透到企業(yè)中。

Greenplum Chorus是EMC的一款企業(yè)數(shù)據(jù)云平臺(tái)，堆棧了各種大數(shù)據(jù)分析工具(業(yè)務(wù)分析、BI、統(tǒng)計(jì)等)。陶波表示，Greenplum Chorus可以做到自助式的調(diào)配、數(shù)據(jù)服務(wù)協(xié)作分析。用戶(hù)同時(shí)部署Chorus、VMware和Greenplum數(shù)據(jù)庫(kù)來(lái)創(chuàng)建一個(gè)自助式的分析基礎(chǔ)架構(gòu)，自助服務(wù)可以生成一個(gè)服務(wù)器或者一個(gè)沙箱，而這個(gè)沙箱既可以基于虛擬化的IT云計(jì)算平臺(tái)上，也可以是在Greenplum的數(shù)據(jù)庫(kù)之上的。同時(shí)，用戶(hù)可以把在企業(yè)云里面其他的原數(shù)據(jù)導(dǎo)入到自己的沙箱中進(jìn)行操作，開(kāi)發(fā)者可以創(chuàng)造一個(gè)合作環(huán)境，在分享數(shù)據(jù)的同時(shí)控制授權(quán)，避免私人數(shù)據(jù)被不適當(dāng)?shù)氖褂谩?/p>

機(jī)遇還是挑戰(zhàn)？

大數(shù)據(jù)很復(fù)雜，因?yàn)樗膩?lái)源很復(fù)雜，從結(jié)構(gòu)化數(shù)據(jù)到非結(jié)構(gòu)化數(shù)據(jù)；大數(shù)據(jù)很復(fù)雜，因?yàn)樗桓逗褪褂玫乃俣龋鐚?shí)時(shí)；大數(shù)據(jù)很復(fù)雜，因?yàn)槲覀兩傻男畔⒘渴求@人的。以前，我們的家用存儲(chǔ)容量用MB和GB為單位，現(xiàn)在已經(jīng)是TB，企業(yè)級(jí)更是用到了PB。

大數(shù)據(jù)的復(fù)雜性也帶來(lái)了一系列挑戰(zhàn)。其中之一就是如何理解和利用非結(jié)構(gòu)化形式的大數(shù)據(jù)，例如文本或者視頻。另一個(gè)挑戰(zhàn)是如何獲取最重要的數(shù)據(jù)，并將其實(shí)時(shí)地交付給合適的人群。第三個(gè)挑戰(zhàn)是我們?nèi)绾伪４孢@些數(shù)據(jù)，當(dāng)然還有隱私性和安全性等諸多難題。

陶波舉例說(shuō)，HDFS的代碼進(jìn)行改進(jìn)加強(qiáng)安全性，如果大數(shù)據(jù)分析是在企業(yè)內(nèi)部進(jìn)行，但是在大量數(shù)據(jù)交給別人的時(shí)候，數(shù)據(jù)安全和隱私都是需要特別關(guān)注的。未來(lái)如果做“分析即服務(wù)”時(shí)為防火墻外提供服務(wù)的時(shí)候，對(duì)安全性的要求就更加高了。

服務(wù)提供商還需要在云計(jì)算平臺(tái)上搭建大數(shù)據(jù)分析服務(wù)，所以對(duì)云計(jì)算會(huì)有比較大的改變。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)處理并不理想的BI公司來(lái)說(shuō)也都需要有所改變，如果不具備應(yīng)對(duì)大數(shù)據(jù)帶來(lái)沖擊的能力，那么將喪失的不僅僅是機(jī)遇。

麥肯錫曾經(jīng)稱(chēng)大數(shù)據(jù)“是創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿領(lǐng)域”。我們可以利用大數(shù)據(jù)回答以前我們無(wú)法涉及領(lǐng)域的問(wèn)題，可以從中獲取知識(shí)和見(jiàn)解，定位趨勢(shì)并利用這些數(shù)據(jù)來(lái)提高生產(chǎn)力，贏得競(jìng)爭(zhēng)優(yōu)勢(shì)。

與潛在機(jī)遇相比，大數(shù)據(jù)的挑戰(zhàn)是有限的，因?yàn)榍罢咧皇芪覀兊膭?chuàng)造力和能力的局限。相信在今年，我們將看到市場(chǎng)中將有更多針對(duì)分析應(yīng)用的存儲(chǔ)設(shè)備涌現(xiàn)，存儲(chǔ)廠商必定不會(huì)錯(cuò)過(guò)大數(shù)據(jù)這場(chǎng)盛宴。

【編輯推薦】

1. 數(shù)據(jù)挖掘中的那些事兒
2. 大數(shù)據(jù)下的數(shù)據(jù)分析平臺(tái)架構(gòu)
3. 數(shù)據(jù)挖掘邏輯體系結(jié)構(gòu)的內(nèi)容類(lèi)型有哪些
4. 數(shù)據(jù)挖掘中易犯的幾大錯(cuò)誤
5. 如何在存儲(chǔ)過(guò)程中實(shí)現(xiàn)插入更新數(shù)據(jù)