成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop0.20.0部署與測試中的單機和偽分布模式操作方法簡介

開發 架構 Hadoop
Hadoop經過長期的發展,已經更新了多個版本,這里向大家介紹一下Hadoop0.20.0部署與測試方面的內容,歡迎大家一起來學習,相信本文的介紹一定會讓你收獲不少。

本節向大家介紹一下Hadoop0.20.0部署與測試方面的內容,本節主要包括單機模式和偽分布模式操縱方法介紹等內容,希望通過本節的介紹大家能夠掌握Hadoop0.20.0部署與測試方法。下面是具體介紹。

1.單機模式Local(Standalone)Mode

默認情況下,Hadoop被配置成以非分Java布式模式運行的一個獨立進程。這對調試非常有幫助。
經過上述配置,就可以運行單機模式了。具體操作請查看手冊

2.偽分布式模式的操作方法

Hadoop0.20.0部署中Hadoop可以在單節點上以所謂的偽分布式模式運行,此時每一個Hadoop守護進程都作為一個獨立的Java進程運行。
0.20版本較之前版本比配置文件有較大改動,由原來全部配置在hadoop-site.xml改為分別配置在以下三個文件中:
conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml

具體配置查看手冊
以conf/core-site.xml為例:
 

  1. <configuration> 
  2. <property> 
  3. <name>fs.default.name</name> 
  4. <value>hdfs://localhost:9000</value> 
  5. </property> 
  6. </configuration> 

如果出現連接錯誤,可以嘗試將了localhost替換為本機IP或127.0.0.1

Hadoop0.20.0部署中免密碼ssh設置
現在確認能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost,執行下面的命令:
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

執行
格式化一個新的分布式文件系統:
$bin/hadoopnamenode-format

啟動Hadoop守護進程:
$bin/start-all.sh

Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網絡接口,它們的地址默認為:
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
到這步為止,必須要先訪問上面的NameNode網絡接口,當頁面能正常顯示HDFS的狀態時,才能正常進行下面的步驟。

1.點擊Browsethefilesystem,***次進入可能會返回一個404錯誤頁面。
2.返回上一頁,刷新頁面,這時候應該會出現下圖所示畫面,這就表明DFS已經正常工作(即DFSUsed等數值不再顯示為0)。
3.如果不行就反復操作1,2步驟,直至成功。

將輸入文件拷貝到分布式文件系統:$bin/hadoopfs-putconfinput
運行發行版提供的示例程序:$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'

查看輸出文件:
將輸出文件從分布式文件系統拷貝到本地文件系統查看:
$bin/hadoopfs-getoutputoutput
$catoutput/*
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統上查看輸出文件:
 

  1. $bin/hadoopfs-catoutput/*  
  2. $bin/hadoopfs-catoutput/*  
  3. 3dfs.class  
  4. 2dfs.period  
  5. 1dfs.file  
  6. 1dfs.replication  
  7. 1dfs.servers  
  8. 1dfsadmin  
  9. 1dfsmetrics.log  
  10. 3 dfs.class  
  11. 2 dfs.period  
  12. 1 dfs.file  
  13. 1 dfs.replication  
  14. 1 dfs.servers  
  15. 1 dfsadmin  
  16. 1 dfsmetrics.log  

完成全部操作后,停止守護進程:$bin/stop-all.sh

Hadoop0.20.0部署與測試中的命令(Command)總結

這部分內容其實可以通過命令的Help以及介紹了解,我主要側重于介紹一下我用的比較多的幾個命令。Hadoopdfs這個命令后面加參數就是對于HDFS的操作,和Linux操作系統的命令很類似,例如:
Hadoopdfs–ls就是查看/usr/root目錄下的內容,默認如果不填路徑這就是當前用戶路徑;
Hadoopdfs–rmrxxx就是刪除目錄,如果多次執行,則每次執行前可以用此命令刪除已存在的文件夾內容;
Hadoopdfsadmin–report這個命令可以全局的查看DataNode的情況;
Hadoopjob后面增加參數是對于當前運行的Job的操作,例如list,kill等;
Hadoopbalancer就是前面提到的均衡磁盤負載的命令。本節關于Hadoop0.20.0部署與測試相關內容介紹到這里。

【編輯推薦】

  1. 學習筆記 Hadoop0.20.0部署與測試
  2. Hadoop0.20.2集群配置入門指導手冊
  3. Hadoop文件系統如何快速安裝?
  4. Hadoop集群搭建過程中相關環境配置詳解
  5. Hadoop完全分布模式安裝實現詳解
責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-07 16:34:07

Hadoop0.20.

2010-06-07 11:12:52

Hadoop-0.20

2010-06-04 15:44:06

Hadoop偽分布

2010-06-07 15:21:00

hadoop-0.20

2013-05-27 14:13:51

Hadoop 2.0.

2010-06-04 18:29:02

Hadoop單機模式

2017-10-25 18:25:40

Hadoop偽分布式環境部署

2010-01-11 10:34:41

VB.NET圖像操作

2011-07-20 15:08:22

C++

2010-02-24 08:11:59

Windows 7企業部署

2014-07-17 14:09:31

Spark

2022-07-14 10:37:15

Jenkins持續集成

2010-01-27 18:00:57

Android開機自啟

2009-09-11 08:12:36

Windows 7企業部署網絡部署

2013-06-13 10:39:54

Hadoop2.0.4

2014-09-04 09:35:17

2009-09-18 08:40:56

Windows 7企業部署VHD

2009-11-25 14:53:58

VS2003部署項目

2010-09-30 10:41:29

2020-06-30 08:06:45

kvm部署測試
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 91av视频在线播放 | 久久成人一区 | 精品日韩一区 | 亚洲欧美国产精品久久 | 亚洲91精品 | 亚洲性视频网站 | 日本免费一区二区三区视频 | 欧美激情久久久 | 男人天堂久久久 | 狠狠干夜夜草 | 精品视频久久久久久 | 国产精品不卡视频 | 黄色网址在线播放 | 色综合色综合网色综合 | 99精品久久 | 中文字幕日韩一区二区 | 久久国产精品99久久久大便 | 久久久久国产精品 | 91av在线影院 | 一区二区视频在线观看 | 日操夜操 | 91精品国产综合久久精品 | 欧美成人一区二免费视频软件 | 成人高潮片免费视频欧美 | 久久99精品久久久久久 | 欧美综合一区 | 韩日一区 | 久久机热| 国产日韩久久 | 九九九国产 | 国产日韩欧美 | av天空| 日韩免费一区二区 | 国产精品视频导航 | 国产精品观看 | 中文字幕一级毛片视频 | 欧美一区二区三区 | 亚洲一区二区三区免费视频 | 色爱综合网 | 国产高清在线精品一区二区三区 | 免费观看一级毛片 |