HadoopOnDemand配置項詳解
本節向大家介紹一下HadoopOnDemand配置方面的內容,主要介紹一些中HadoopOnDemand常用的配置項,相信通過本節的介紹大家對HadoopOnDemand的配置有新的認識,讓我們一起來學習吧。
3.4HadoopOnDemand中ringmaster的配置項
work-dirs:這是一個由逗號分隔的路徑列表,這些路徑將作為HOD產生和傳遞給Hadoop,用于存放DFS和Map/Reduce數據的目錄的根目錄。例如,這是DFS數據塊存放的路徑。一般情況下,有多少塊磁盤就指定多少路徑,以確保所有的磁盤都被利用到。temp-dir變量的限制和注意事項在這兒同樣適用。
max-master-failures:hadoop主守護進啟動前可以失敗的次數,超出這個次數后,HOD會讓這次集群分配失敗。在HOD集群中,有時候由于某些問題,比如機器沒安裝java,沒有安裝Hadoop,或者Hadoop版本錯誤等,會存在一個或幾個“壞”節點。當這個配置項被設為正整數時,只有當hadoopmatser(JobTracker或者NameNode)在上述的壞節點上,由于上面提到的種種原因啟動失敗的次數超過設定的值時,RingMaster才會把錯誤返回給客戶端。如果嘗試啟動的次數沒有超過設定值,當下一個HodRing請求運行一個命令時,同一個hadoopmaster會指定給這個HodRing。這樣,即使集群中存在一些壞的節點,HOD也會盡全力使這次分配成功。
3.5HadoopOnDemand中gridservice-hdfs的配置項
external:如果被置為false,HOD必須在通過allocate命令分配的節點上自己創建HDFS集群。注意,在這種情況下,如果集群被回收,HDFS集群會停止,所有數據會丟失。如果被置為true,它會嘗試鏈接外部的已配置的HDFS系統。通常,因為在作業運行之前作業的輸入需要被放置在HDFS上,并且作業的輸出需要持久保留,在生產環境中一個內部的HDFS集群意義不大。
host:外部配置好的NameNode的主機名。
fs_port:NameNodeRPC服務綁定的端口。
info_port:NameNodewebUI服務綁定的端口。
pkgs:安裝目錄,其下有bin/hadoop可執行文件??捎脕硎褂眉荷项A先安裝的Hadoop版本。
server-params:一個逗號分割的hadoop配置參數列表,每一項為key-value對形式。這些將用于產生被NameNode和DataNode使用到的hadoop-site.xml文件。
final-server-params:除會被標記為final外和上面相同。
3.6HadoopOnDemand中gridservice-mapred的配置項
external:如果被置為false,HOD必須在通過allocate命令分配的節點上自己創建Map/Reduce集群。如果被置為true,它會嘗試鏈接外部的已配置的Map/Reduce系統。
host:外部配置好的JobTracker的主機名。
tracker_port:JobTrackerRPC服務綁定的端口。
info_port:JobTrackerwebUI服務綁定的端口。
pkgs:安裝目錄,其下有bin/hadoop可執行文件。
server-params:一個逗號分割的hadoop配置參數列表,每一項為key-value對形式。這些將用于產生被JobTracker和TaskTracker使用到的hadoop-site.xml文件。
final-server-params:除會被標記為final外和上面相同。
3.7HadoopOnDemand中hodring的配置項
mapred-system-dir-root:DFS上的目錄,HOD會在這個目錄下創建子目錄并把全路徑作為參數'mapred.system.dir'的值傳遞給Hadoop守護進程。全路徑的格式為value-of-this-option/userid/mapredsystem/cluster-id。注意,如果HDFS啟用了權限,這里指定的路徑下應允許所有用戶創建子目錄。設置此配置項的值為/user會使HOD使用用戶的home目錄來產生mapred.system.dir的值。
log-destination-uri:一個URL,能反映一個外部的靜態的DFS或者集群節點上的本地文件系統上的路徑。當集群被回收時,HOD會把Hadoop日志上傳到這個路徑。要指定DFS路徑,使用'hdfs://path'格式。要指定一個集群節點上的本地文件系統路徑,使用'file://path'格式。當HOD回收集群時,作為HOD的清除過程的一部分,hadoop日志會被刪除。要做到持久儲這些日志,你可以使用這個配置項。路徑的格式會是values-of-this-option/userid/hod-logs/cluster-id。注意,應該保證所有的用戶能在這里指定的目錄下創建子目錄。把這個值設為hdfs://user會使這些日志被轉移到用戶在DFS上的home目錄下。
pkgs:安裝目錄,其下有bin/hadoop可執行文件。如果給log-destination-uri指定了一個HDFSURL,HOD上傳日志時會用到這個配置項。注意,當用戶使用了和外部靜態HDFS不同版本的tarball時,這個配置項會派上用場。
【編輯推薦】
- HadoopOnDemand配置新手指南
- Hadoop0.20.2集群配置入門指導手冊
- Hadoop文件系統如何快速安裝?
- Hadoop集群搭建過程中相關環境配置詳解
- Hadoop完全分布模式安裝實現詳解