1、什么是MapReduce

1. Hadoop MapReduce 是一個 分布式計算框架，用于輕松編寫分布式應用程序，這些應用程序以可靠，容錯的方式并行處理大型硬件集群（數(shù)千個節(jié)點）上的大量數(shù)據(jù)（多TB數(shù)據(jù)集）

2. MapReduce 是一種面向海量數(shù)據(jù)處理的一種指導思想，也是一種用于對大規(guī)模數(shù)據(jù)進行分布式計算的編程模型。

2、Map Reduce的優(yōu)缺點

2.1 優(yōu)點

? MapReduce易于編程： 它簡單的實現(xiàn)一些接口，就可以完成一個分布式程序

? 良好的擴展性： 當你的計算資源不能得到滿足的時候，你可以通過簡單的增加機器來擴展它的計算能力。

? 高容錯性： MapReduce設計的初衷就是使程序能夠部署在廉價的PC機器上，這就要求它具有很高的容錯性。比如其中一臺機器掛了，它可以把上面的計算任務轉(zhuǎn)移到另外一個節(jié)點上運行，不至于這個任務運行失敗，而且這個過程不需要人工參與，而完全是由Hadoop內(nèi)部完成的。

? 適合PB級以上海量數(shù)據(jù)的離線處理： 可以實現(xiàn)上千臺服務器集群并發(fā)工作，提供數(shù)據(jù)處理能力。

2.2 缺點

? 實時計算性能差： MapReduce 主要應用于離線作業(yè)，無法做到秒級或者是亞秒級別的數(shù)據(jù)響應。

? 不能進行流式計算： 流式計算的輸入數(shù)據(jù)是動態(tài)的，而MapReduce的輸入數(shù)據(jù)集是靜態(tài)的，不能動態(tài)變化。這是因為MapReduce自身的設計特點決定了數(shù)據(jù)源必須是靜態(tài)的。

? 不擅長DAG（有向無環(huán)圖）計算 多個應用程序存在依賴關(guān)系，后一個應用程序的輸入為前一個的輸出。在這種情況下，MapReduce并不是不能做，而是使用后，每個MapReduce作業(yè)的輸出結(jié)果都會寫入到磁盤，會造成大量的磁盤IO，導致性能非常的低下。

3、 MapReduce進程

一個完整的MapReduce程序在分布式運行時有三類實例進程： （1）MrAppMaster：負責整個程序的過程調(diào)度及狀態(tài)協(xié)調(diào)。 （2）MapTask：負責Map階段的整個數(shù)據(jù)處理流程。 （3）ReduceTask：負責Reduce階段的整個數(shù)據(jù)處理流程。

4、MapReduce編程規(guī)范

? 用戶編寫的程序代碼分成三個部分： Mapper、Reducer和Driver(客戶端提交作業(yè)驅(qū)動程序)

? 用戶自定義的Mapper和Reducer都要繼承各自的父類。

Mapper階段：

1. 用戶自定義的Mapper要繼承自己的父類

2. Mapper的輸入數(shù)據(jù)是KV對的形式（KV的類型可自定義）

3. Mapper中的業(yè)務邏輯寫在map()方法中

4. Mapper的輸出數(shù)據(jù)是KV對的形式（KV的類型可自定義）

5. map()方法（MapTask進程）對每一個<K,V>調(diào)用一次

Reducer階段：

1. 用戶自定義的Reducer要繼承自己的父類

2. Reducer的輸入數(shù)據(jù)類型對應Mapper的輸出數(shù)據(jù)類型，也是KV

3. Reducer的業(yè)務邏輯寫在reduce()方法中

4. ReduceTask進程對每一組相同k的<k,v>組調(diào)用一次reduce()方法

Driver： 描述的是提交Job對象需要的各種必要的信息。

MapReduce內(nèi)置了很多默認屬性，比如： 排序（key的字典序）、分組(reduce階段key相同的為一組，一組調(diào)用一次reduce處理)等，這些都和數(shù)據(jù)的K有關(guān)，所以說kv的類型數(shù)據(jù)確定是及其重要的。

5、常用數(shù)據(jù)序列化類型