成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop YARN配置參數剖析(2)—權限與日志聚集相關參數

開發 前端 Hadoop
注意,配置這些參數前,應充分理解這幾個參數的含義,以防止誤配給集群帶來的隱患。另外,這些參數均需要在yarn-site.xml中配置。

注意,配置這些參數前,應充分理解這幾個參數的含義,以防止誤配給集群帶來的隱患。另外,這些參數均需要在yarn-site.xml中配置。

1.    權限相關配置參數

這里的權限由三部分組成,分別是:(1)管理員和普通用戶如何區分 (2)服務級別的權限,比如哪些用戶可以向集群提交ResourceManager提交應用程序,(3)隊列級別的權限,比如哪些用戶可以向隊列A提交作業等。

管理員列表由參數yarn.admin.acl指定。

服務級別的權限是通過配置hadoop-policy.xml實現的,這個與Hadoop 1.0類似

隊列級別的權限是由對應的資源調度器內部配置的,比如Fair Scheduler或者Capacity Scheduler等,具體閱讀后面幾節。

2.    日志聚集相關配置參數

日志聚集是YARN提供的日志中央化管理功能,它能將運行完成的Container/任務日志上傳到HDFS上,從而減輕NodeManager負 載,且提供一個中央化存儲和分析機制。默認情況下,Container/任務日志存在在各個NodeManager上,如果啟用日志聚集功能需要額外的配 置。

(1) yarn.log-aggregation-enable

參數解釋:是否啟用日志聚集功能。

默認值:false

(2) yarn.log-aggregation.retain-seconds

參數解釋:在HDFS上聚集的日志最多保存多長時間。

默認值:-1

(3) yarn.log-aggregation.retain-check-interval-seconds

參數解釋:多長時間檢查一次日志,并將滿足條件的刪除,如果是0或者負數,則為上一個值的1/10。

默認值:-1

(4) yarn.nodemanager.remote-app-log-dir

參數解釋:當應用程序運行結束后,日志被轉移到的HDFS目錄(啟用日志聚集功能時有效)。

默認值:/tmp/logs

(5) yarn.log-aggregation.retain-seconds

參數解釋:遠程日志目錄子目錄名稱(啟用日志聚集功能時有效)。

默認值:日志將被轉移到目錄

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

原文鏈接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/

責任編輯:陳四芳 來源: dongxicheng.org
相關推薦

2014-01-07 15:23:15

HadoopYARN

2014-01-07 16:34:36

HadoopYARN

2014-01-07 17:18:51

HadoopYARN

2014-01-07 15:05:25

HadoopYARN

2017-07-27 17:37:44

MySQL死鎖日志

2010-09-07 11:14:56

DB2配置向導

2011-02-23 10:21:18

ProFTPd參數

2010-01-27 13:38:29

C++ Sum函數

2010-02-25 13:40:17

WCF禁用安全配置

2010-01-04 14:54:08

ADO參數

2009-12-25 16:51:37

ADO參數

2017-07-28 15:40:01

數據庫MySQL死鎖與日志

2010-01-12 11:47:09

VB.NET可選參數

2014-02-14 15:30:18

HadoopYARN

2010-09-25 13:31:00

TomcatJVM

2010-11-29 13:33:00

sybase配置參數

2010-05-31 16:54:29

SVN權限配置文件

2011-06-01 15:49:00

Android 測試

2009-09-18 10:18:30

CLR Via

2010-01-06 15:16:58

Ubuntu啟動流程
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品揄拍一区二区久久国内亚洲精 | 操夜夜| 波多野结衣二区 | 亚洲精品视频在线观看免费 | 亚洲导航深夜福利涩涩屋 | 中文字幕在线观看第一页 | 中文字幕第一页在线 | 九九热久久免费视频 | 成人免费区一区二区三区 | 精品产国自在拍 | 久久精品国产99国产 | 在线观看国产三级 | 亚洲精品免费视频 | 色综合久久天天综合网 | 天天操人人干 | 99精品视频在线观看免费播放 | 欧美久久久久久久久中文字幕 | 亚洲欧洲一区 | 亚洲国产精品va在线看黑人 | 久久精品一区二区 | 久久久久国产精品午夜一区 | 国产一区视频在线 | 韩国理论电影在线 | 偷拍自拍网 | 久久国产欧美日韩精品 | 免费在线观看av | 三区在线观看 | 第一区在线观看免费国语入口 | 精品美女 | 日韩靠逼 | 日日日日操 | 在线观看日韩av | 欧美激情视频一区二区三区免费 | 久久久久久a | 国产精品一区二区在线免费观看 | 午夜视频网 | av影音资源 | 国产在线拍偷自揄拍视频 | 成人欧美 | 亚洲三级在线 | 最新中文字幕在线 |