大數(shù)據(jù)應(yīng)用:論底層基礎(chǔ)設(shè)施硬件到底有多重要
對(duì)于當(dāng)今的企業(yè)級(jí)服務(wù)市場(chǎng)來(lái)說(shuō),大數(shù)據(jù)技術(shù)的不斷深入已經(jīng)使得很多行業(yè)的用戶開始擁抱大數(shù)據(jù),我們都知道,對(duì)于數(shù)據(jù)而言,我們每天所產(chǎn)生的海量數(shù)據(jù)需要有一個(gè)強(qiáng)有力且安全的平臺(tái)來(lái)對(duì)這些數(shù)據(jù)進(jìn)行收集、分析從而為用戶提出一個(gè)切實(shí)可行的方案,來(lái)幫助用戶解決因數(shù)據(jù)困難導(dǎo)致的企業(yè)IT問(wèn)題。
對(duì)于整個(gè)大數(shù)據(jù)行業(yè)來(lái)說(shuō),基本上可以分為三層,分別是底層基礎(chǔ)平臺(tái),中間層通用技術(shù),上層行業(yè)應(yīng)用。那么對(duì)于一家大數(shù)據(jù)服務(wù)企業(yè)來(lái)說(shuō),為用戶提供基于這三個(gè)平臺(tái)的大數(shù)據(jù)服務(wù)的過(guò)程當(dāng)中,這些平臺(tái)的根本,其實(shí)是需要一個(gè)強(qiáng)大的底層硬件基礎(chǔ)平臺(tái)來(lái)為這些海量數(shù)據(jù)做保障和支撐的。
Hadoop:底層技術(shù)的明星
對(duì)于底層的基礎(chǔ)平臺(tái)來(lái)說(shuō),其主要起到了數(shù)據(jù)存儲(chǔ)、計(jì)算等過(guò)程當(dāng)中的問(wèn)題,它也是整個(gè)大數(shù)據(jù)生態(tài)當(dāng)中的根本基石,用戶從采集到數(shù)據(jù)開始,底層基礎(chǔ)平臺(tái)就是保證用戶能夠把這些數(shù)據(jù)高效、快捷的進(jìn)行存儲(chǔ),而后才能進(jìn)行高效的數(shù)據(jù)分析和挖掘,從而幫助用戶解決企業(yè)IT問(wèn)題。
統(tǒng)觀當(dāng)前國(guó)內(nèi)的企業(yè)級(jí)市場(chǎng),真正把目光專注于Hadoop的企業(yè)級(jí)廠商數(shù)量其實(shí)并不是太多,有業(yè)內(nèi)專家曾經(jīng)指出,在進(jìn)入新世紀(jì)后的***個(gè)十年當(dāng)中,跟多企業(yè)都把發(fā)展的重點(diǎn)放在了IT設(shè)備的采購(gòu)、數(shù)據(jù)中心機(jī)房的建設(shè)以及各種辦公系統(tǒng)的上線等方面,而第二個(gè)十年當(dāng)中,隨著經(jīng)濟(jì)形勢(shì)的下行,使得傳統(tǒng)企業(yè)的盈利開始出現(xiàn)下降的趨勢(shì),對(duì)于企業(yè)級(jí)用戶來(lái)講,對(duì)于IT設(shè)備的采購(gòu)也就不像之前那十年那樣狂熱了。
以Hadoop為代表的新底層技術(shù)能夠興起,拋開技術(shù)原因,最主要的原因是便宜、擴(kuò)展性強(qiáng)。利用分布式架構(gòu),將一些性能一般的機(jī)器串聯(lián)起來(lái),達(dá)到與高性能單機(jī)同樣的效果。隨著公司發(fā)展,數(shù)據(jù)量增大,不需要更換全套設(shè)備,只需要再增加機(jī)器就可以達(dá)到目的,省時(shí)省力。
利用Hadoop發(fā)展起來(lái)的商業(yè)模式
以微軟的Cosmos為例,這套系統(tǒng)本身優(yōu)于Hadoop,主要是針對(duì)大型機(jī)房,設(shè)計(jì)理念很好,上萬(wàn)臺(tái)機(jī)器的機(jī)房,拿出幾十臺(tái)做別的事情,來(lái)提升系統(tǒng)運(yùn)營(yíng)效率。但如果是幾十臺(tái)機(jī)器,仍然需要拿出很大一部分來(lái)做別的事情,機(jī)器使用效率就很低。
實(shí)際應(yīng)用時(shí),用上萬(wàn)臺(tái)機(jī)器的公司少,用幾十臺(tái)機(jī)器的公司多,因此Hadoop的應(yīng)用面更廣。用的人多,自然幫助優(yōu)化架構(gòu)的人多,社區(qū)貢獻(xiàn)的人多,技術(shù)發(fā)展快,漸漸成為主流。
Hadoop技術(shù)是開源的,為什么還有公司會(huì)提供Hadoop相關(guān)服務(wù)?這是因?yàn)殚_源技術(shù)的兼容性和穩(wěn)定性比較差,同時(shí),企業(yè)在實(shí)際應(yīng)用中需要將開源技術(shù)和自身系統(tǒng)、產(chǎn)品相連接,這就是Hadoop發(fā)行版的市場(chǎng)所在。
當(dāng)前,銀行等大型企業(yè)紛紛喊出“去IOE”(IBM小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備),盡管國(guó)產(chǎn)企業(yè)的產(chǎn)品尚不能滿足大型企業(yè)核心系統(tǒng)的要求,但是必然會(huì)有大量新業(yè)務(wù)的IT系統(tǒng)采用國(guó)產(chǎn)品牌,舊有業(yè)務(wù)面臨更新?lián)Q代也會(huì)優(yōu)先選擇國(guó)內(nèi)廠商。
數(shù)據(jù)庫(kù)等底層設(shè)施不同于上層應(yīng)用,更換成本較高,客戶黏性很大,非萬(wàn)不得已不會(huì)進(jìn)行替換,同時(shí)Hadoop這類新技術(shù)迭代速度快,需要后期維護(hù)。因此,各家公司都在大力開拓市場(chǎng),跑馬圈地。
發(fā)展大潮下創(chuàng)業(yè)公司有幾分機(jī)遇?
隨著IT領(lǐng)域“去IOE”浪潮的快速發(fā)展,已經(jīng)開始有越來(lái)越多的中國(guó)企業(yè)都在面對(duì)更換自身原有的IT硬件設(shè)備的問(wèn)題,這對(duì)于整個(gè)底層基礎(chǔ)平臺(tái)市場(chǎng)來(lái)說(shuō)是一個(gè)絕好的發(fā)展機(jī)遇,因此近些年我們也可以看到越來(lái)越多的初創(chuàng)型公司利用其技術(shù)優(yōu)勢(shì)和初創(chuàng)公司的高效決策機(jī)制,迅速搶占一些市場(chǎng)份額,占據(jù)一席之地。這類公司主要服務(wù)金融、電信、交通、電力等領(lǐng)域的大型企業(yè),這些領(lǐng)域原本是傳統(tǒng)集成商的地盤,因此新興大數(shù)據(jù)公司不可避免地將與集成商正面競(jìng)爭(zhēng)。
底層基礎(chǔ)平臺(tái)不同于上層應(yīng)用,客戶需求類似,產(chǎn)品很難體現(xiàn)出差異化優(yōu)勢(shì)。各家公司主要比拼產(chǎn)品性能的優(yōu)劣,這種技術(shù)上的差異,新興公司最初會(huì)占據(jù)一定優(yōu)勢(shì),隨著開源技術(shù)的普及,很多公司也會(huì)逐步趕上,技術(shù)的差距會(huì)逐步縮小。
Hadoop誕生于2006年,Spark于2009年出現(xiàn),2013年Hadoop已經(jīng)發(fā)布2.0穩(wěn)定版本,兩種技術(shù)從誕生到成熟時(shí)間之短,令人震驚。在當(dāng)今這個(gè)技術(shù)快速發(fā)展的時(shí)代,新興大數(shù)據(jù)公司一方面要應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng),另一方面還要保持技術(shù)的領(lǐng)先地位,難度不小。
對(duì)于大數(shù)據(jù)產(chǎn)業(yè)來(lái)說(shuō),除了在平臺(tái)化管理要從用戶角度出發(fā)之外,對(duì)于企業(yè)的底層硬件平臺(tái)來(lái)說(shuō),也需要更加迎合實(shí)際的應(yīng)用環(huán)境來(lái)對(duì)產(chǎn)品進(jìn)行采購(gòu)和升級(jí)換代,一個(gè)強(qiáng)大、安全、穩(wěn)定的底層硬件平臺(tái)對(duì)于大數(shù)據(jù)在用戶端的豐富應(yīng)用起到了決定性的作用,所以我們說(shuō),一切還是要以用戶的需求作為根本出發(fā)點(diǎn)。