Hadoop發(fā)行版本之間的區(qū)別
Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop的發(fā)行版除了有Apache hadoop外cloudera,hortonworks,mapR,華為,DKhadoop等都提供了自己的商業(yè)版本。商業(yè)發(fā)行版主要是提供了更為專業(yè)的技術(shù)支持,這對(duì)于大型企業(yè)更為重要,不同發(fā)行版都有自己的一些特點(diǎn),本文就各發(fā)行版做簡(jiǎn)單對(duì)比介紹。
對(duì)比版選擇:DKhadoop發(fā)行版、cloudera發(fā)行版、hortonworks發(fā)行版、MAPR發(fā)行版、華為hadoop發(fā)行版
1、DKhadoop發(fā)行版:有效的集成了整個(gè)HADOOP生態(tài)系統(tǒng)的全部組件,并深度優(yōu)化,重新編譯為一個(gè)完整的更高性能的大數(shù)據(jù)通用計(jì)算平臺(tái),實(shí)現(xiàn)了各部件的有機(jī)協(xié)調(diào)。因此DKH相比開(kāi)源的大數(shù)據(jù)平臺(tái),在計(jì)算性能上有了高達(dá)5倍(***)的性能提升。DKhadoop將復(fù)雜的大數(shù)據(jù)集群配置簡(jiǎn)化至三種節(jié)點(diǎn)(主節(jié)點(diǎn)、管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)),極大的簡(jiǎn)化了集群的管理運(yùn)維,增強(qiáng)了集群的高可用性、高可維護(hù)性、高穩(wěn)定性。
2、Cloudera發(fā)行版:CDH是Cloudera的hadoop發(fā)行版,完全開(kāi)源,比Apache hadoop在兼容性,安全性,穩(wěn)定性上有增強(qiáng)。
3、Hortonworks發(fā)行版:Hortonworks 的主打產(chǎn)品是Hortonworks Data Platform (HDP),也同樣是100%開(kāi)源的產(chǎn)品,其版本特點(diǎn):HDP包括穩(wěn)定版本的Apache Hadoop的所有關(guān)鍵組件;安裝方便,HDP包括一個(gè)現(xiàn)代化的,直觀的用戶界面的安裝和配置工具。
4、MAPR發(fā)行版:mapR有免費(fèi)和商業(yè)兩個(gè)版本,免費(fèi)版本在功能上有所減少。
5、華為hadoop發(fā)行版:華為的hadoop版本基于自研的Hadoop HA平臺(tái),構(gòu)建NameNode、JobTracker、HiveServer的HA功能,進(jìn)程故障后系統(tǒng)自動(dòng)Failover,無(wú)需人工干預(yù),這個(gè)也是對(duì)hadoop的小修補(bǔ),遠(yuǎn)不如mapR解決的徹底。