Hadoop 3.0: YARN Resource自定義資源配置說(shuō)明
問題導(dǎo)讀
- yarn默認(rèn)情況下使用哪些資源?
- Yarn如何實(shí)現(xiàn)擴(kuò)展自定義資源?
- 自定義資源，可以在哪個(gè)配置文件中配置?
- 哪些配置可以在yarn-site.xml文件或則 resource-types.xml文件配置?
- yarn有哪三種Containers?
- 三種Container如何配置請(qǐng)求的CPU，memory等值?
1.概述
yarn支持可擴(kuò)展資源類型.所有節(jié)點(diǎn)、應(yīng)用程序、隊(duì)列，默認(rèn)情況下Yarn使用 CPU和內(nèi)存。資源定義可以擴(kuò)展為任意的“countable”資源。一個(gè)countable 資源，container運(yùn)行的時(shí)候，將會(huì)被暫用，完畢后將會(huì)釋放。CPU 和(內(nèi)存)memory都是 countable 資源。其它例子：包括GPU 資源和軟件licenses。
2.配置
支持下面屬性，詳細(xì)如下：
resource-types.xml
node--resources.xml
3.yarn資源模型
Resource Manager
resource manager【資源管理器】是tracke集群中哪些資源的最終仲裁者。它從XML配置文件加載定義資源。。例如定義新增加的CPU 和memory,下面屬性應(yīng)該被配置
有效的資源名稱必須以字母開頭，并且只能包含字母，數(shù)字和“。”，“_”或“ - ”中的任何一個(gè)。有效的資源名稱也可以選擇在名稱空間后加一個(gè)斜杠。一個(gè)有效的名字空間由句點(diǎn)分隔的字母，數(shù)字和破折號(hào)組成。 例如，以下是有效的資源名稱：
- myresource
- my_resource
- My-Resource01
- com.acme/myresource
以下是無(wú)效資源名的示例：
- 10myresource【字母開頭】
- my resource【含有空格】
- com/acme/myresource【沒有命名空間】
- $NS/myresource【字母開頭】
- -none-/myresource【字母開頭】
以上個(gè)人標(biāo)注上了錯(cuò)誤的比較明顯的原因。大家也可以找找其它方面的錯(cuò)誤。
對(duì)于定義的每個(gè)新的資源類型，可以添加可選的單元屬性來(lái)設(shè)置資源類型的默認(rèn)單位。 有效值是：
屬性必須命名為yarn.resource-types..units。每個(gè)定義的資源也可以具有可選的最小和***屬性。屬性必須命名為： yarn.resource-types..minimum 和yarn.resource-types..maximum.
yarn.resource-types屬性和任何的unit, mimimum, 或則maximum屬性，可以定義在yarn-site.xml文件或則 resource-types.xml文件。例如，以下內(nèi)容可能出現(xiàn)在任一文件中：
Node Manager
每個(gè)Node Manager獨(dú)立定義該節(jié)點(diǎn)可用的資源。資源定義通過設(shè)置每個(gè)可用資源屬性來(lái)完成。屬性必須命名為 yarn.nodemanager.resource-type.或則放到 yarn-site.xml文件或則 node-resources.xml文件。該屬性的值應(yīng)該是該node提供的資源量。例子
請(qǐng)注意，用于這些資源的單位不需要與資源管理器【resource manager】所持有的定義相匹配。 如果單元不匹配，資源管理器將自動(dòng)進(jìn)行轉(zhuǎn)換。
MapReduce使用資源
mapreduce從yarn請(qǐng)求三種不同類型的容器：application master容器, map容器,和reduce容器.對(duì)于每種容器類型，都有相應(yīng)的一組屬性可用于設(shè)置所請(qǐng)求的資源。在MapReduce中設(shè)置資源請(qǐng)求的屬性有：
注意，這些資源請(qǐng)求可能會(huì)被YARN修改，以滿足配置的minimum 和maximum 資源值，或者是配置增量的倍數(shù)。 請(qǐng)參閱yarn調(diào)度配置屬性 yarn.scheduler.maximum-allocation-mb, yarn.scheduler.minimum-allocation-mb, yarn.scheduler.increment-allocation-mb, yarn.scheduler.maximum-allocation-vcores, yarn.scheduler.minimum-allocation-vcores, and yarn.scheduler.increment-allocation-vcores。
