Yahoo公布Hadoop的源代碼
根據國外媒體報道,Yahoo公布了Hadoop的源代碼,Hadoop是一個開源的Java并行編程框架,它是Map/Reduce的開源版本,而Map/Reduce則是Google用在計算機簇上對大規模數據進行分布式計算的架構。
該源代碼可以再Yahoo的網站上下載(http://developer.yahoo.com/hadoop/distribution/),是0.20 alpha版,其中包括一個可以讓多個用戶通過不同的隊列共享一個簇的規劃器。源代碼中還包含了一段Yahoo添加的用于提高穩定性和執行性能的代碼段。這些代碼段已經加入到了Apache中,不過在現有的Hadoop源代碼的Apache發行版中還沒有這些代碼。Yahoo目前在其產品中提供的是Hadoop 0.18.3版。
Hadoop源代碼是由Doug Cutting開發,它實現了Map/Reduce的技術,該技術可以將應用程序分解為多個工作片段,每一個片段都可以在簇中的任何一個節點中運行。它還支持HDFS分布式文件系統,該文件系統將數據存儲在簇的節點中,以此來提高帶寬利用。
【編輯推薦】