Hadoop YARN
代碼托管地址: Apache SVN
YARN又被稱為MapReduce 2.0,借鑒Mesos,YARN提出了資源隔離解決方案Container,但是目前尚未成熟,僅僅提供 Java 虛擬機內存的隔離。
對比MapReduce 1.x,YARN架構在客戶端上并未做太大的改變,在調用 API 及接口上還保持大部分的兼容,然而在YARN中,開發人員使用 ResourceManager、ApplicationMaster 與 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker。其中 ResourceManager 是一個中心的服務,負責調度、啟動每一個 Job 所屬的 ApplicationMaster,另外還監控 ApplicationMaster 的存在情況;NodeManager負責 Container 狀態的維護,并向 RM 保持心跳。ApplicationMaster 負責一個 Job 生命周期內的所有工作,類似老的框架中 JobTracker。