專家推薦 Hadoop0.20.2集群配置指導手冊
本節和大家一起繼續學習有關Hadoop0.20.2集群配置方面的內容,上節我們介紹到Hadoop的配置,接下來該啟動Hadoop了。歡迎大家一起來學習Hadoop0.20.2集群配置的方法,相信通過本節的介紹大家對如何進行Hadoop0.20.2集群配置有一定的認識。
一、hadoop啟動
先格式化一個新的分布式文件系統
$cdhadoop-0.20.2
$bin/hadoopnamenode-format
查看輸出保證分布式文件系統格式化成功。
Hadoop0.20.2集群配置過程中在主節點master上面啟動hadoop,主節點會啟動所有從節點的hadoop。
$bin/start-all.sh
從主節點master關閉hadoop,主節點會關閉所有從節點的hadoop。
$bin/stop-all.sh
Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網絡接口,它們的地址默認為:
NameNode-http://master:50070/
JobTracker-http://master:50030/
將輸入文件拷貝到分布式文件系統:$bin/hadoopfs-putconfinput
運行發行版提供的示例程序:$bin/hadoopjarhadoop-0.20.2-examples.jargrepinputoutput'dfs[a-z.]+'
查看輸出文件:
將輸出文件從分布式文件系統拷貝到本地文件系統查看:
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統上查看輸出文件:$bin/hadoopfs-catoutput/*
啟動運行成功后,可以多熟悉熟悉hadoopdfs命令,例如:
hadoopdfs–ls查看/usr/root目錄下的內容,默認如果不填路徑這就是當前用戶路徑;
hadoopdfs–rmrxxxxxx就是刪除目錄;
hadoopdfsadmin-report這個命令可以全局的查看DataNode的情況;
hadoopjob-list后面增加參數是對于當前運行的Job的操作,例如list,kill等;
hadoopbalancer均衡磁盤負載的命令。本節關于Hadoop0.20.2集群配置方面的內容就介紹到這里。
【編輯推薦】
- Hadoop0.20.2集群配置入門指導手冊
- Hadoop集群配置全程跟蹤報道
- 專家講解 Hadoop:HBASE松散數據存儲設計
- 兩種模式運行Hadoop分布式并行程序
- 輕松實現Hadoop Hdfs配置