快速部署Hadoop基礎(chǔ)架構(gòu)
據(jù)國外媒體消息,為應(yīng)對海量數(shù)據(jù)浪潮,VMware啟動Serengeti開放原始碼計(jì)劃,便于企業(yè)在VMware vSphere虛擬化平臺上快速部署與管理Apache Hadoop集群,部署虛擬化技術(shù)與分布式計(jì)算混用的基礎(chǔ)架構(gòu)。
通過Serengeti計(jì)劃,VMware開放一組工具組,可在Apache 2.0網(wǎng)頁免費(fèi)下載,讓企業(yè)IT人員利用指令接口(Command Line Interface,CLI)在vSphere平臺建立、設(shè)定、啟用與管理Hadoop集群,包括Hadoop共通組件如Apache Pig與Apache Hive等。例如,IT人員可用這些工具組設(shè)定單臺虛擬計(jì)算節(jié)配置多少內(nèi)存、存儲與網(wǎng)絡(luò)資源。目前VMware已和Cloudera、Greenplum、Hortonworks、IBM及MapR等Hadoop廠商合作推廣Serengeti計(jì)劃。
此外,VMware還為Hadoop放出新的原始碼,包括HDFS(Hadoop Distributed File System)和Hadoop MapReduce項(xiàng)目的擴(kuò)展組件,可在虛擬化平臺當(dāng)中,將數(shù)據(jù)和計(jì)算任務(wù)分散到不同虛擬計(jì)算節(jié)點(diǎn)。并且VMware發(fā)布了Spring for Apache Hadoop分布式計(jì)算開發(fā)平臺的更新版本,讓企業(yè)開發(fā)人員整合HBase數(shù)據(jù)庫、Cascading函數(shù)庫及Hadoop安全功能,來開發(fā)采Hadoop技術(shù)的應(yīng)用系統(tǒng)。