Hadoop1.0和Hadoop2.0的區別
一、什么是Hadoop1.0?
Hadoop1.0即***代Hadoop，指的是版本為Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，內核主要由HDFS和MapReduce兩個系統組成，其中MapReduce是一個離線處理框架，由編程模型(新舊API)、運行時環境(JobTracker和TaskTracker)和數據處理引擎(MapTask和ReduceTask)三部分組成。
二、什么是Hadoop2.0?
Hadoop2.0即第二代Hadoop，指的是版本為Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，內核主要由HDFS、MapReduce和YARN三個系統組成，其中YARN是一個資源管理系統，負責集群資源管理和調度，MapReduce則是運行在YARN上的離線處理框架，它與Hadoop 1.0中的MapReduce在編程模型(新舊API)和數據處理引擎(MapTask和ReduceTask)兩個方面是相同的。
三、兩者的區別
1. 從Hadoop整體框架來說
Hadoop1.0由分布式存儲系統HDFS和分布式計算框架MapReduce組成，其中HDFS由一個NameNode和多個DateNode組成，MapReduce由一個JobTracker和多個TaskTracker組成。
Hadoop2.0為克服Hadoop1.0中的不足進行了下面改進：
（1）針對Hadoop1.0單NameNode制約HDFS的擴展性問題，提出HDFS Federation，它讓多個NameNode分管不同的目錄進而實現訪問隔離和橫向擴展，同時徹底解決了NameNode單點故障問題;
（2）針對Hadoop1.0中的MapReduce在擴展性和多框架支持等方面的不足，它將JobTracker中的資源管理和作業控制分開，分別由ResourceManager(負責所有應用程序的資源分配)和ApplicationMaster(負責管理一個應用程序)實現，即引入了資源管理框架Yarn。
（3）Yarn作為Hadoop2.0中的資源管理系統，它是一個通用的資源管理模塊，可為各類應用程序進行資源管理和調度，不僅限于MapReduce一種框架，也可以為其他框架使用，如Tez、Spark、Storm等
2. 從MapReduce計算框架來講
MapReduce1.0計算框架主要由三部分組成：編程模型、數據處理引擎和運行時環境。它的基本編程模型是將問題抽象成Map和Reduce兩個階段，其中Map階段將輸入的數據解析成key/value，迭代調用map()函數處理后，再以key/value的形式輸出到本地目錄，Reduce階段將key相同的value進行規約處理，并將最終結果寫到HDFS上;它的數據處理引擎由MapTask和ReduceTask組成，分別負責Map階段邏輯和Reduce階段的邏輯處理;它的運行時環境由一個JobTracker和若干個TaskTracker兩類服務組成，其中JobTracker負責資源管理和所有作業的控制，TaskTracker負責接收來自JobTracker的命令并執行它。
MapReducer2.0具有與MRv1相同的編程模型和數據處理引擎，唯一不同的是運行時環境。MRv2是在MRv1基礎上經加工之后，運行于資源管理框架Yarn之上的計算框架MapReduce。它的運行時環境不再由JobTracker和TaskTracker等服務組成，而是變為通用資源管理系統Yarn和作業控制進程ApplicationMaster，其中Yarn負責資源管理的調度而ApplicationMaster負責作業的管理。
Hadoop1與Hadoop2的區分還是非常大，HDFS和MR都有不同，最起碼的配置文件就不一樣。項目應用的話，建議盡量往高版本走。穩健一點的話稍低于***版本的一個穩定版本即可。
【本文為51CTO專欄作者“朱國立”的原創稿件，轉載請通過作者微信公眾號“開發者圓桌”獲取聯系和授權】
