MapReduce：服務器的新朋友
在未來，當管理員搭建服務器的時候，他很可能會給服務器集群、數據庫、中間件軟件裝上MapReduce。
加州大學圣地亞哥分校研究員Dionysios Logothetis在日前舉行的Usenix年度會議上表示，MapReduce可以在服務器上直接被用來分析日志數據，無需在各個集群上單獨分析，也可以大幅縮短分析數據的時間。
MapReduce結構
利用該方法，“數據分析可以從專業集群上轉移到日志服務器上，從而避免昂貴的數據遷移成本支出”，Logothetis表示。MapReduce首先是由谷歌公司推出來的，它越來越多地被用來分析跨服務器和節點的大規模數據。目前，它主要擔當Hadoop數據處理平臺的一個組成部分。
雖然MapReduce大部分都使用在專業集群上，但研究人士表示分析軟件的框架版本也可以成為網絡服務器的一部分。當前商業網頁關于用戶的詳細日志信息，可以為廣告定位、網站安全監控和調試提供數據支持。
根據統計，為繁忙的電子商務網站提供服務的單個服務器，在每秒鐘時間內能生成1MB至10MB有價值的日志數據。而在一天之內，它可以生成幾十兆兆字節有價值的數據量。平均而言，1000臺這樣的服務器在一天之內能生成86TB容量的數據信息。比如著名的社交網站Facebook一天所產生的數據量為100TB。
通常來說，大型公司比如Facebook這樣的站點都會收集不同服務器上的數據，然后載入到Hadoop集群并使用 MapReduce分析其結果。
MapReduce實例
以往“先存儲后查詢”的方法具有諸多弊端。傳輸不同服務器上的數據會耗費大量的帶寬資源，對網絡構成巨大壓力。在進行數據分析之前，Facebook會丟棄80%的日志數據。通過使用這種新技術，這些數據就無需再進行傳輸了，更不會發生數據丟失的嚴重問題。
MapReduce在未來的服務器上可能將會成為一種標準配備，它將對數據進行分析并將分析后的結果傳達給中央數據采集點。研究人士將這一方法稱之為“in-situ MapReduce (iMR)”。
iMR旨在補充而不是取代傳統的集群架構，它是為了完成分布式存儲系統中的日志數據和其他數據后續分析。作為一項程序，iMR能復制所有的MapReduce APIs，并執行MapReduce相類似的功能、對過濾的數據進行命名并匯集分析結果 。不同之處在于，它能基于***數據的基礎上持續進行分析。
目前，研究員已經創建了一個iMR原型，通過iMR用戶可以指定需要分析處理的數據范圍，比如過去60秒鐘收集的所有信息。此外，用戶還可以設定多久提交一次分析結果并進行傳送，比如可以指定每15秒鐘分析一次等。
Logothetis表示，網絡服務器可能花費絕大多數資源在他們本應進行的工作上，被稱為給用戶提供服務。但是iMR可以利用剩下的循環處理日志數據。
據悉，研究員為此專門制定了一個計劃以建立處理速度和結果完整性之間的平衡，如果需要更快地獲得結果，那么每個服務器可以忽略掉一些很耗費時間的數據，從何得到一個不那么完全，但仍是有意義的結果。而如果想得到一個全面的分析，則需要很長的時間和很大的服務器資源去完成。
當然，一個只運行少量服務器的組織可能不會從iMR中受益。但是大的運營商，例如搜索引擎，社交網絡和電子商務網站將會體驗到iMR的價值。
原文：http://cloud.csdn.net/a/20110628/300657.html
英文原文：MapReduce Could Be the Server's Newest Friend
【編輯推薦】
