隨著YARN的成熟和穩(wěn)定（2013年8月25日已經(jīng)發(fā)布beta版），必將形成一個(gè)以YARN為核心的生態(tài)系統(tǒng)，在該生態(tài)系統(tǒng)中，所有計(jì)算相關(guān)的框架可 運(yùn)行在一個(gè)YARN集群中（由于YARN本身設(shè)計(jì)上的一些問題，目前還難以運(yùn)行通用的服務(wù)，比如Web Server、HBase等，未來趨勢(shì)肯定是各類系統(tǒng)或者服務(wù)可運(yùn)行在一個(gè)集群中，進(jìn)行統(tǒng)一資源管理和調(diào)度）。為了關(guān)注該方向的技術(shù)動(dòng)態(tài)和發(fā)展趨勢(shì)，本博 客開辟一個(gè)“運(yùn)行在YARN上的框架”（framework-on-yarn）專欄，歡迎各位關(guān)注。作為這個(gè)專欄***篇文章，將介紹一下這種模式的好處以 及當(dāng)前運(yùn)行在YARN上相對(duì)而言較為成熟的計(jì)算框架。

1. 將框架運(yùn)行在YARN上帶來的好處

隨著YARN的的成熟和穩(wěn)定，各類應(yīng)用程序可以運(yùn)行在一個(gè)YARN集群中進(jìn)行統(tǒng)一資源管理和調(diào)度，這樣帶來的變化如下：

（1）應(yīng)用程序部署變得更加簡單

管理員只需部署YARN服務(wù)即可，各類應(yīng)用程序框架不再自帶服務(wù)，無需實(shí)現(xiàn)部署，它們已經(jīng)變成了客戶端編程庫（library），由YARN提供的分布式緩存機(jī)制分發(fā)到各個(gè)節(jié)點(diǎn)上；

（2）服務(wù)部署變得簡單

用戶可以通過運(yùn)行一個(gè)應(yīng)用程序的方式部署一套服務(wù)，比如Storm服務(wù)，至于jar包拷貝等工作，完全由YARN自動(dòng)完成，部署完成后，用戶像使用普通的Storm集群那樣使用Storm-On-YARN

（3）多版本共享集群資源（簡單的隔離）

由于YARN只負(fù)責(zé)資源管理和調(diào)度，至于其上運(yùn)行什么應(yīng)用或者服務(wù)，完全由用戶自己決定，這使得用戶可在YARN上運(yùn)行多個(gè)同類服務(wù)實(shí)例，比如運(yùn)行 多個(gè)Storm實(shí)例供不同類型的應(yīng)用，YARN本身可以為這些實(shí)例提供隔離機(jī)制（Cgroups）。有了YARN之后，用戶開發(fā)新的框架或者應(yīng)用程序時(shí)， 可不必在考慮資源隔離問題。

（4）資源彈性管理

由于多類應(yīng)用運(yùn)行在一個(gè)YARN集群中，比如離線計(jì)算、實(shí)時(shí)計(jì)算、DAG計(jì)算等，YARN可根據(jù)不同類型的應(yīng)用程序壓力情況，調(diào)整對(duì)應(yīng)的資源使用量，實(shí)現(xiàn)資源彈性管理。

2. 目前可運(yùn)行在YARN上的計(jì)算框架

運(yùn)行在YARN上的框架，包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

（1）MapReduce-On-YARN：YARN上的離線計(jì)算，YARN發(fā)行版中自帶該實(shí)現(xiàn)，隨著YARN的穩(wěn)定，MRv1運(yùn)行方式會(huì)被淘汰；

（2）Spark-On-YARN：YARN上的內(nèi)存計(jì)算；

（3）Storm-On-YARN：YARN上的實(shí)時(shí)/流式計(jì)算；

（4）Tez-On-YARN：YARN上的DAG計(jì)算

3. 其他相關(guān)文章閱讀

我之前寫過一些類似的文章，有興趣的讀者可閱讀以下幾篇：

（1）Storm On YARN：http://dongxicheng.org/mapreduce-nextgen/storm-on-yarn/

（2）Tez On YARN：http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/

（3）利用下一代Hadoop YARN構(gòu)建彈性計(jì)算平臺(tái)：http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/

（4）從問題域觸發(fā)理解Hadoop生態(tài)系統(tǒng)：http://dongxicheng.org/mapreduce-nextgen/rethinking-hadoop-from-problems-solved/

（5）解析Google資源管理系統(tǒng)Omega：http://dongxicheng.org/mapreduce-nextgen/google-omega/

（6）淺談Omega/Torca/Mesos/YARN一類系統(tǒng)：http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/

（7）多集群下資源共享方案介紹：http://dongxicheng.org/mapreduce-nextgen/multi-clusters-sharing-resources/

原文鏈接：http://dongxicheng.org/framework-on-yarn/distributed-computing-framework-on-yarn/