在Hackbright做導(dǎo)師期間，我被要求向技術(shù)背景有限的學(xué)生解釋MapReduce算法，于是我想出了一個(gè)有趣的例子，用以闡釋它是如何工作的。

MapReduce算法例子

你想數(shù)出一摞牌中有多少?gòu)埡谔摇Ｖ庇^方式是一張一張檢查并且數(shù)出有多少?gòu)埵呛谔摇?/p>

MapReduce方法則是：

1.給在座的所有玩家中分配這摞牌

2.讓每個(gè)玩家數(shù)自己手中的牌有幾張是黑桃，然后把這個(gè)數(shù)目匯報(bào)給你

3.你把所有玩家告訴你的數(shù)字加起來，得到***的結(jié)論

MapReduce算法背景

谷歌在2004年發(fā)表了可以分析大量數(shù)據(jù)的MapReduce算法。每當(dāng)你聽到“大數(shù)據(jù)”這個(gè)詞時(shí)，它指的是因?yàn)樘蠖寖H僅一臺(tái)機(jī)器難以有效存儲(chǔ)或分析的問題。MapReduce通過把計(jì)算量分配給不同的計(jì)算機(jī)群，能夠解決大部分和大數(shù)據(jù)有關(guān)的分析問題。Hadoop提供了***的利用MapReduce算法來管理大數(shù)據(jù)的開源方式。現(xiàn)今MapReduce是主流。

所以通常來說，每當(dāng)你聽到“大數(shù)據(jù)”，那也許意味著Hadoop被用來存儲(chǔ)數(shù)據(jù)，也通常意味著數(shù)據(jù)的抽取和檢索是用的MapReduce。

拆分MapReduce算法

MapReduce合并了兩種經(jīng)典函數(shù)：

映射（Mapping）對(duì)集合里的每個(gè)目標(biāo)應(yīng)用同一個(gè)操作。即，如果你想把表單里每個(gè)單元格乘以二，那么把這個(gè)函數(shù)單獨(dú)地應(yīng)用在每個(gè)單元格上的操作就屬于mapping。

化簡(jiǎn)（Reducing ）遍歷集合中的元素來返回一個(gè)綜合的結(jié)果。即，輸出表單里一列數(shù)字的和這個(gè)任務(wù)屬于reducing。

重新審視上面的MapReduce算法例子

重新審視我們?cè)瓉砟莻€(gè)分散紙牌的例子，我們有MapReduce數(shù)據(jù)分析的基本方法。友情提示：這不是個(gè)嚴(yán)謹(jǐn)?shù)睦印Ｔ谶@個(gè)例子里，人代表計(jì)算機(jī)，因?yàn)樗麄兺瑫r(shí)工作，所以他們是個(gè)集群。在大多數(shù)實(shí)際應(yīng)用中，我們假設(shè)數(shù)據(jù)已經(jīng)在每臺(tái)計(jì)算機(jī)上了 – 也就是說把牌分發(fā)出去并不是MapReduce的一步。（事實(shí)上，在計(jì)算機(jī)集群中如何存儲(chǔ)文件是Hadoop的真正核心。）

通過把牌分給多個(gè)玩家并且讓他們各自數(shù)數(shù)，你就在并行執(zhí)行運(yùn)算，因?yàn)槊總€(gè)玩家都在同時(shí)計(jì)數(shù)。這同時(shí)把這項(xiàng)工作變成了分布式的，因?yàn)槎鄠€(gè)不同的人在解決同一個(gè)問題的過程中并不需要知道他們的鄰居在干什么。

通過告訴每個(gè)人去數(shù)數(shù)，你對(duì)一項(xiàng)檢查每張牌的任務(wù)進(jìn)行了映射。 你不會(huì)讓他們把黑桃牌遞給你，而是讓他們把你想要的東西化簡(jiǎn)為一個(gè)數(shù)字。

另外一個(gè)有意思的情況是牌分配得有多均勻。MapReduce假設(shè)數(shù)據(jù)是洗過的（shuffled）- 如果所有黑桃都分到了一個(gè)人手上，那他數(shù)牌的過程可能比其他人要慢很多。

如果有足夠的人的話，問一些更有趣的問題就相當(dāng)簡(jiǎn)單了 - 比如“一摞牌的平均值（二十一點(diǎn)算法）是什么”。你可以通過合并“所有牌的值的和是什么”及“我們有多少?gòu)埮?rdquo;這兩個(gè)問題來得到答案。用這個(gè)和除以牌的張數(shù)就得到了平均值。

對(duì)MapReduce算法的結(jié)論

MapReduce算法的機(jī)制要遠(yuǎn)比這復(fù)雜得多，但是主體思想是一致的 – 通過分散計(jì)算來分析大量數(shù)據(jù)。無論是Facebook、NASA，還是小創(chuàng)業(yè)公司，MapReduce都是目前分析互聯(lián)網(wǎng)級(jí)別數(shù)據(jù)的主流方法。有趣的是，MapReduce在多于10PB數(shù)據(jù)時(shí)趨向于變慢，所以谷歌在他們今年的IO大會(huì)上報(bào)告稱MapReduce已經(jīng)不夠他們用了。