Google Compute Engine 的虛擬機(jī)提供了一種快速、可靠的方式來運(yùn)行 Apache Hadoop。如今，Google 正在努力通過Google Cloud Storage Hadoop預(yù)覽版更簡單的在 Google Cloud Platform 上運(yùn)行Hadoop，這樣你就可以更加專注于數(shù)據(jù)處理邏輯而不是集群管理和文件系統(tǒng)。

 

下圖是Hadoop在Google Cloud Platform上的圖解。在Google Cloud Storage上存儲(chǔ)數(shù)據(jù)時(shí)HDFS、NameNode是可選的。 

 

 

在十年前，從Google***次介紹了Google File System (GFS)——Hadoop Distributed File System（HDFS）的基礎(chǔ)——Google一直在努力改善Google大數(shù)據(jù)處理的存儲(chǔ)系統(tǒng)。***的成果是Colossus。

 

今天的發(fā)行版本提供了準(zhǔn)確的——使用了一個(gè)簡單的連接器庫，Hadoop現(xiàn)在可以直接地在Google Cloud Storage運(yùn)行——一個(gè)對象存儲(chǔ)創(chuàng)建在Colossus上。這意味著你在大數(shù)據(jù)處理時(shí)可以從Google的這項(xiàng)技術(shù)中獲益。

 

下面是用Google Cloud Storage運(yùn)行Hadoop的優(yōu)勢：

 

兼容性：Google Cloud Storage connector for Hadoop 代碼兼容Hadoop。只要將URL指向你的數(shù)據(jù)就可以。

 

快速啟動(dòng)：數(shù)據(jù)準(zhǔn)備處理。當(dāng)你的數(shù)據(jù)復(fù)制到HDFS以及NameNode，你不必等待過長時(shí)間來結(jié)束這個(gè)安全模式。同時(shí)，你也不需要花費(fèi)數(shù)據(jù)復(fù)制VM時(shí)間。

 

更高的可用性和可擴(kuò)展性： Google Cloud Storage比HDFS具有更高的可用性，因?yàn)樗歇?dú)立的Compute Nodes和NameNode。如果虛擬機(jī)拒絕（或云禁止、崩潰）你的數(shù)據(jù)還在。

 

低成本：包括存儲(chǔ)和計(jì)算：存儲(chǔ)，因?yàn)闆]有必要維護(hù)兩份數(shù)據(jù)，一個(gè)用于備份，另一個(gè)用于運(yùn)行Hadoop；計(jì)算，因?yàn)槟悴恍枰獌H僅為服務(wù)數(shù)據(jù)而保持VM一直運(yùn)行。同時(shí)，它是以分鐘計(jì)費(fèi)，你可以在多個(gè)內(nèi)核上更快的運(yùn)行Hadoop，并且你的成本不再是四舍五入為一個(gè)小時(shí)來計(jì)算。

 

沒有存儲(chǔ)管理開銷：鑒于HDFS需要日常維護(hù)——比如文件系統(tǒng)校驗(yàn)、重整、升級、反轉(zhuǎn)和NameNode重啟——Google Cloud Storage只需要為計(jì)算付費(fèi)。你的數(shù)據(jù)是安全和一致的，不需要更多的努力。

 

互通性：通過在Google Cloud Storage保管你的數(shù)據(jù)，你可以從Google上其它已經(jīng)***融合的服務(wù)中獲益。

 

性能：由于有了Google Cloud Storage，Google的基礎(chǔ)設(shè)施將會(huì)比HDFS提供更高的性能——因?yàn)樗鼪]有管理和維護(hù)開銷。

  

如果想了解Google Cloud Platform到底有哪些優(yōu)勢，可以訪問這個(gè)簡單指導(dǎo) 。 Google很樂意聽到你關(guān)于如何更好的在Google Cloud Platform運(yùn)行Hadoop和MapReduce的反饋和想法。

 

寫在***：為了與該領(lǐng)域的主要對手 AWS及其EC2競爭，Google已經(jīng)通過增加一系列得新特性來鞏固其平臺優(yōu)勢，包括更先進(jìn)的路由、高達(dá)10TB的大型***磁盤、更新App Engine托管服務(wù)以及降低成本等。可以預(yù)測，這些措施將使Google獲得數(shù)十億美元的基礎(chǔ)設(shè)施市場，同時(shí)，我們期待Google能夠?yàn)锳pp繼續(xù)開放更大的空間。