繼云計(jì)算之后，“大數(shù)據(jù)時(shí)代”這一熱詞成為媒體爭(zhēng)相追逐的焦點(diǎn)。那么，何為大數(shù)據(jù)，大數(shù)據(jù)價(jià)值幾許?大數(shù)據(jù)時(shí)代又會(huì)給業(yè)界帶來(lái)哪些機(jī)遇和挑戰(zhàn)呢?

　　大數(shù)據(jù)時(shí)代悄然來(lái)臨

　　不是我不明白，這世界變化快12000年還是一張軟盤打天下的時(shí)代，短短十多年光景，硬盤的存儲(chǔ)容量已從4GB、16GB、32GB迅速攀升到1TB。原來(lái)僅有1.44MB的軟盤在當(dāng)時(shí)感覺(jué)存儲(chǔ)容量還是蠻大的，到現(xiàn)在硬盤容量躥升至1TB了，反而感覺(jué)存儲(chǔ)空間捉襟見(jiàn)肘，到底是哪里出現(xiàn)了問(wèn)題?

　　大數(shù)據(jù)!一語(yǔ)驚醒夢(mèng)中人，大數(shù)據(jù)時(shí)代已經(jīng)悄然來(lái)臨。隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升，云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò)，由此產(chǎn)生的數(shù)據(jù)及增長(zhǎng)速度迅速攀升。

　　一項(xiàng)由UnisohereResearch對(duì)531名獨(dú)立Oracle用戶進(jìn)行的調(diào)查發(fā)現(xiàn)，90%的企業(yè)的數(shù)據(jù)量在迅速上漲，其中16%的企業(yè)的數(shù)據(jù)量每年增長(zhǎng)率達(dá)到50%或更高。不少企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長(zhǎng)對(duì)績(jī)效造成的沖擊，其中87%的受訪者將企業(yè)的應(yīng)用程序性能下降歸咎于不斷增長(zhǎng)的數(shù)據(jù)量。調(diào)研機(jī)構(gòu)IDC在2011年6月的報(bào)告則顯示，全球數(shù)據(jù)量在2011年已達(dá)到1.8ZB，在過(guò)去5年里增加了5倍。

　　1.8ZB是什么樣的概念呢?首先從二進(jìn)制上解讀一下，從我們最熟悉的GB開(kāi)始，1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB;1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。

　　再來(lái)直接形象地形容一下1.8ZB的數(shù)據(jù)量，如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里，光盤的高度將等同于從地球到月球的一個(gè)半來(lái)回也就是大約720000英里。相當(dāng)于每位美國(guó)人每分鐘寫(xiě)3條Twitter微博，而且還要不停地寫(xiě)2.6976萬(wàn)年，是不是很恐怖?這還不是最恐怖的，IDC還預(yù)測(cè)全球數(shù)據(jù)量大約每?jī)赡攴环?015年全球數(shù)據(jù)量將達(dá)到近8ZB，到2020年，全球?qū)⑦_(dá)到35ZB。

　　所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù)，通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)很多時(shí)間和金錢。調(diào)研機(jī)構(gòu)IDC認(rèn)為，某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù)，必須滿足IBM所描述的三個(gè)“V”條件，即多樣性(Variety)、大容量(Volume)和時(shí)效性高(Velocity)。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù);大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的;時(shí)效性高則是指數(shù)據(jù)處理的速度必須很快。

　　大數(shù)據(jù)中的大價(jià)值

　　現(xiàn)在有很多通過(guò)大數(shù)據(jù)分析受益的經(jīng)典案例。在科研民生領(lǐng)域，美國(guó)的海嘯預(yù)警系統(tǒng)一直為人們津津樂(lè)道，去年3月11日日本大地震發(fā)生后僅9分鐘，美國(guó)國(guó)家海洋和大氣管理局(NOAA)就發(fā)布了詳細(xì)的海嘯預(yù)警。隨即，NOAA通過(guò)對(duì)海洋傳感器獲得的實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算機(jī)模擬，制作的海嘯影響模型便出現(xiàn)在YouTube等網(wǎng)站。大數(shù)據(jù)分析在指導(dǎo)人們有效規(guī)避自然災(zāi)害面前發(fā)揮了很大的作用。

　　而在商業(yè)領(lǐng)域，eBay則很好地起到了示范作用。eBay定義了超過(guò)500種類型的數(shù)據(jù)，對(duì)顧客的行為進(jìn)行跟蹤分析，每天處理的數(shù)據(jù)量高達(dá)100PB，通過(guò)準(zhǔn)確分析用戶的購(gòu)物行為，達(dá)到了減少?gòu)V告投入、穩(wěn)定高端賣家、實(shí)現(xiàn)持續(xù)增長(zhǎng)的目的。

　　通過(guò)上述兩個(gè)案例不難看到，大數(shù)據(jù)分析的價(jià)值是非常大的。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，企業(yè)也逐漸步入到大數(shù)據(jù)時(shí)代。傳統(tǒng)的標(biāo)準(zhǔn)化、結(jié)構(gòu)化的數(shù)據(jù)只占到15%左右，85%的數(shù)據(jù)來(lái)源于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。

　　企業(yè)用來(lái)分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)，因此，大數(shù)據(jù)具有很大的商業(yè)價(jià)值。大數(shù)據(jù)分析是企業(yè)在未來(lái)發(fā)展過(guò)程中必須面對(duì)的，大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合。只有那些能夠運(yùn)用這些新數(shù)據(jù)形態(tài)的企業(yè)，方能打造可持續(xù)發(fā)展的競(jìng)爭(zhēng)優(yōu)勢(shì)。

　　淘金大數(shù)據(jù)時(shí)代

　　云計(jì)算和大數(shù)據(jù)是2012年IT業(yè)界密切關(guān)注，且又最為火熱的兩大關(guān)鍵詞，對(duì)于嗅覺(jué)相當(dāng)靈敏的IT業(yè)界，很多企業(yè)早已嗅出了商機(jī)。以投資Facebook而聞名的風(fēng)投公司AccelPartners認(rèn)為：大數(shù)據(jù)是信息技術(shù)未來(lái)發(fā)展的戰(zhàn)略走向，將催生下一代價(jià)值數(shù)萬(wàn)億美元的軟件企業(yè)。

　　大數(shù)據(jù)跟普通數(shù)據(jù)一樣，從產(chǎn)生到處理，再到價(jià)值提取，再到***被消費(fèi)掉，都有一個(gè)過(guò)程，每個(gè)步驟中都存在著不同的商業(yè)需求，目前已經(jīng)有企業(yè)開(kāi)始深耕細(xì)作或正在跑馬圈地。

　　首先是雅虎的大數(shù)據(jù)系統(tǒng)Hadoop，它已經(jīng)在大數(shù)據(jù)時(shí)代嶄露頭角，因它提供了廉價(jià)的大數(shù)據(jù)分析處理功能，從而被業(yè)界冠以打開(kāi)數(shù)據(jù)之門的金鑰匙。Hadoop能將大數(shù)據(jù)分解成多個(gè)子問(wèn)題，將它們分配到成百上千個(gè)處理節(jié)點(diǎn)之上，能夠在最短的時(shí)間內(nèi)處理海量的數(shù)據(jù)，***再將處理結(jié)果匯集到一個(gè)小數(shù)據(jù)庫(kù)集中，從而更容易分析并得出***的結(jié)果。

　　Hadoop已經(jīng)成為AOL、Facebook和Twitter這些公司進(jìn)行大數(shù)據(jù)分析的主要提供商。一批著名的大企業(yè)如谷歌、雅虎、JP摩根大通等，也成功利用Hadoop開(kāi)發(fā)出了開(kāi)源的大數(shù)據(jù)管理系統(tǒng)。不僅如此，微軟也向Hadoop拋出了橄欖枝，并且決定將Hadoop作為自身大數(shù)據(jù)戰(zhàn)略的核心。Hadoop的明星范兒，讓人們看到了Hadoop在解決大數(shù)據(jù)難題時(shí)的巨大潛力。

　　其次，IBM憑借在硬件與軟件方面的優(yōu)勢(shì)，提供端到端、整體的大數(shù)據(jù)解決方案。此外，在數(shù)據(jù)存儲(chǔ)、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商，如惠普、甲骨文等公司，在大數(shù)據(jù)分析領(lǐng)域也有著明顯的優(yōu)勢(shì)。2011年10月，甲骨文發(fā)布了新版NoSQL數(shù)據(jù)庫(kù)企業(yè)版，這是運(yùn)行于Hadoop之上的大數(shù)據(jù)軟件之一。除了花大力氣開(kāi)發(fā)自有技術(shù)，更多的企業(yè)希望通過(guò)合作與并購(gòu)的方式來(lái)迅速?gòu)浹a(bǔ)技術(shù)鏈條上的不足。微軟宣布與Hortonwork公司建立新的合作伙伴關(guān)系，后者致力于Hadoop開(kāi)發(fā)。為了增強(qiáng)非傳統(tǒng)數(shù)據(jù)分析的能力，Teradata收購(gòu)了Aster Data公司。在2011年，面對(duì)高速增長(zhǎng)的大數(shù)據(jù)分析，IBM提出了“智慧的運(yùn)算”，其內(nèi)容包含大規(guī)模數(shù)據(jù)整合、優(yōu)化的系統(tǒng)，以及云計(jì)算等新興服務(wù)交付模式。伴隨著全新的zEnterprise 114大型機(jī)產(chǎn)品的發(fā)布，zEnterprise System企業(yè)級(jí)大型機(jī)已經(jīng)作為“系統(tǒng)中的系統(tǒng)”來(lái)全面實(shí)現(xiàn)“智慧的運(yùn)算”。

　　***回頭再來(lái)看看微軟為業(yè)界帶來(lái)的SQL Server 2012。SOL Server 2012著眼于企業(yè)不斷增長(zhǎng)的大數(shù)據(jù)、多樣化分析需求，以打造一個(gè)能夠處理大數(shù)據(jù)和智能的云平臺(tái)，幫助企業(yè)形成一種可執(zhí)行的洞察力，解決數(shù)據(jù)飛速增長(zhǎng)這一難題。

　　剛剛發(fā)布的SQL Server2012，相比以前的版本主要有如下三項(xiàng)重大的更新：一是能夠更好地支持大規(guī)模關(guān)鍵應(yīng)用，通過(guò)AlwaysOn集成高可用的災(zāi)難恢復(fù)解決方案，幫助企業(yè)大大減少計(jì)劃性停機(jī)和非計(jì)劃性停機(jī)時(shí)間，為大中小企業(yè)提供***的支持;二是更為強(qiáng)大、靈活的分析，通過(guò)PowerView和PowerPivot實(shí)現(xiàn)快速的數(shù)據(jù)發(fā)現(xiàn)，基于Excel的PowerPivot讓用戶可以方便地連接不同的數(shù)據(jù)源和對(duì)數(shù)據(jù)進(jìn)行混搭，PowerView則允許用戶使用拖曳式界面進(jìn)行數(shù)據(jù)瀏覽;三是按需而“云”，全面支持云技術(shù)與平臺(tái)，能夠快速構(gòu)建相應(yīng)的解決方案，實(shí)現(xiàn)私有云與公有云之間數(shù)據(jù)的擴(kuò)展與應(yīng)用的遷移，保證傳統(tǒng)應(yīng)用、私有云、公有云協(xié)同工作的靈活性。SQL Server 2012支持靈活的遷移應(yīng)用，從傳統(tǒng)應(yīng)用到虛擬化部署，使用戶可以根據(jù)需要自由拓展，按需而“云”。

　　擁抱大數(shù)據(jù)時(shí)代

　　當(dāng)大數(shù)據(jù)時(shí)代大步向我們走來(lái)的時(shí)候，企業(yè)有足夠的準(zhǔn)備來(lái)迎接這場(chǎng)革命嗎?面對(duì)洶涌而來(lái)的大數(shù)據(jù)時(shí)代，從目前的態(tài)勢(shì)來(lái)看，由于大數(shù)據(jù)的技術(shù)門檻較高，在大數(shù)據(jù)領(lǐng)域展開(kāi)競(jìng)爭(zhēng)的IT公司，大都仍然是在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商。而對(duì)于其他IT廠商，盡管也意識(shí)到了大數(shù)據(jù)時(shí)代的淘金價(jià)值，但是無(wú)論是土壤、理念，還是技術(shù)、市場(chǎng)層面，都還任重而道遠(yuǎn)。

　　***，大數(shù)據(jù)的急劇蔓延使得企業(yè)在存儲(chǔ)架構(gòu)方面逐漸面臨著史無(wú)前例的考驗(yàn)，由此引發(fā)了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、商業(yè)智能、云計(jì)算等應(yīng)用的一連串連鎖反應(yīng)。

　　第二，網(wǎng)絡(luò)帶寬急待升級(jí)。中國(guó)平均網(wǎng)速不到全球一半，帶寬過(guò)小勢(shì)必會(huì)成為大數(shù)據(jù)時(shí)代的瓶頸，升級(jí)帶寬是目前面臨的最迫切的問(wèn)題。

　　第三，無(wú)處不在的大數(shù)據(jù)安全問(wèn)題。2011年CSDN等網(wǎng)站大規(guī)模的數(shù)據(jù)泄露給業(yè)界上了生動(dòng)的一課，如何保證大數(shù)據(jù)的安全性是又一只橫亙?cè)诖髷?shù)據(jù)時(shí)代發(fā)展路上的攔路虎。要通過(guò)技術(shù)的、行政的、法律的手段，全面阻擊不正當(dāng)應(yīng)用和新型知識(shí)犯罪。

　　第四，大數(shù)據(jù)分析人才緊缺;大數(shù)據(jù)是海洋，分析工具是輪船，而分析人才則是舵手。只有通過(guò)掌握了分析工具的人才指引，大數(shù)據(jù)分析才能抵達(dá)成功的彼岸。目前，大數(shù)據(jù)分析門檻高，分析人才稀缺是不言的事實(shí)。

　　第五，大數(shù)據(jù)時(shí)代的數(shù)據(jù)學(xué)的理論和方法將改進(jìn)現(xiàn)有的科學(xué)研究方法，形成新的科學(xué)研究方法，并且針對(duì)各個(gè)研究領(lǐng)域開(kāi)發(fā)出專門的理論、技術(shù)和方法，從而形成專門領(lǐng)域的數(shù)據(jù)學(xué)，例如行為數(shù)據(jù)學(xué)、生命數(shù)據(jù)學(xué)、腦數(shù)據(jù)學(xué)、氣象數(shù)據(jù)學(xué)、金融數(shù)據(jù)學(xué)、地理數(shù)據(jù)學(xué)等。

　　大數(shù)據(jù)時(shí)代不但會(huì)對(duì)IT業(yè)界甚至?xí)?duì)整個(gè)人類社會(huì)產(chǎn)生巨大且意義深遠(yuǎn)的影響，大到國(guó)家治理、企業(yè)決策，小到個(gè)人生活服務(wù)，都會(huì)因大數(shù)據(jù)而改變。數(shù)據(jù)的大航海時(shí)代已經(jīng)來(lái)臨，唯有揚(yáng)帆應(yīng)變才是正途……