成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

如何進行Hadoop安裝部署?

開發 架構 Hadoop
Hadoop安裝部署你是否熟悉,這里就向大家介紹一下Hadoop安裝部署的具體步驟,希望通過本文的介紹大家對如何進行Hadoop安裝部署有新的認識。

本節接著上節向大家介紹一下Hadoop安裝部署步驟,主要內容有Hadoop環境變量,Hadoop配置文件,Hadoop的部署以及啟動等相關操作,歡迎大家一起來學習Hadoop安裝部署方面的知識。下面是具體步驟介紹。


1.Hadoop環境變量

在/home/dbrg/HadoopInstall/hadoop-conf目錄下的hadoop_env.sh中設置Hadoop需要的環境變量,其中JAVA_HOME是必須設定的變量。HADOOP_HOME變量可以設定也可以不設定,如果不設定,HADOOP_HOME默認的是bin目錄的父目錄,即本文中的/home/dbrg/HadoopInstall/hadoop。我的是這樣設置的
exportHADOOP_HOME=/home/dbrg/HadoopInstall/hadoop
exportJAVA_HOME=/usr/java/jdk1.6.0
從這個地方就可以看出前面所述的創建hadoop0.12.0的鏈接hadoop的優點了,當以后更新hadoop的版本的時候,就不需要在改配置文件,只需要更改鏈接就可以了。

2.Hadoop配置文件
如前所述,在hadoop-conf/目錄下,打開slaves文件,該文件用來指定所有的從節點,一行指定一個主機名。即本文中的dbrg-2,dbrg-3,因此slaves文件看起來應該是這樣的
dbrg-2
dbrg-3
在conf/目錄中的hadoop-default.xml中包含了Hadoop的所有配置項,但是不允許直接修改!可以在hadoop-conf/目錄下的hadoop-site.xml里面定義我們需要的項,其值會覆蓋hadoop-default.xml中的默認值。可以根據自己的實際需要來進行定制。以下是我的配置檔:
 

  1. <?xmlversionxmlversion="1.0"?> 
  2. <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?> 
  3. <!--Putsite-specificpropertyoverridesinthisfile.--> 
  4. <configuration> 
  5. <property> 
  6. <name>fs.default.name</name> 
  7. <value>dbrg-1:9000</value> 
  8. <description>Thenameofthedefaultfilesystem.Eithertheliteralstring"local"orahost:portforDFS.</description> 
  9. </property> 
  10. <property> 
  11. <name>mapred.job.tracker</name> 
  12. <value>dbrg-1:9001</value> 
  13. <description>ThehostandportthattheMapReducejobtrackerrunsat.If"local",thenjobsarerunin-processasasinglemapandreducetask.</description> 
  14. </property> 
  15. <property> 
  16. <name>hadoop.tmp.dir</name> 
  17. <value>/home/dbrg/HadoopInstall/tmp</value> 
  18. <description>Abaseforothertemporarydirectories.</description> 
  19. </property> 
  20. <property> 
  21. <name>dfs.name.dir</name> 
  22. <value>/home/dbrg/HadoopInstall/filesystem/name</value> 
  23. <description>DetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable.
  24. Ifthisisacomma-delimitedlistofdirectoriesthenthenametableisreplicatedinallofthedirectories,forredundancy.</description> 
  25. </property> 
  26. <property> 
  27. <name>dfs.data.dir</name> 
  28. <value>/home/dbrg/HadoopInstall/filesystem/data</value> 
  29. <description>DetermineswhereonthelocalfilesystemanDFSdatanodeshouldstoreitsblocks.Ifthisisacomma-delimitedlistofdirectories,
  30. thendatawillbestoredinallnameddirectories,typicallyondifferentdevices.Directoriesthatdonotexistareignored.</description> 
  31. </property> 
  32. <property> 
  33. <name>dfs.replication</name> 
  34. <value>1</value> 
  35. <description>Defaultblockreplication.Theactualnumberofreplicationscanbespecifiedwhenthefileiscreated.
  36. Thedefaultisusedifreplicationisnotspecifiedincreatetime.</description> 
  37. </property> 
  38. </configuration> 

 

3.部署Hadoop

前面Hadoop安裝部署過程中講的這么多Hadoop的環境變量和配置文件都是在dbrg-1這臺機器上的,現在需要將hadoop部署到其他的機器上,保證目錄結構一致。
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-2:/home/dbrg/
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-3:/home/dbrg/
至此,可以說,Hadoop已經在各個機器上部署完畢了下面就讓我們開始啟動Hadoop吧


4.啟動Hadoop

Hadoop安裝部署完成后需要啟動Hadoop。啟動之前,我們先要格式化namenode,先進入~/HadoopInstall/hadoop目錄,執行下面的命令
[dbrg@dbrg-1:hadoop]$bin/hadoopnamenode-format
不出意外,應該會提示格式化成功。如果不成功,就去hadoop/logs/目錄下去查看日志文件
下面就該正式啟動hadoop啦,在bin/下面有很多啟動腳本,可以根據自己的需要來啟動。
*start-all.sh啟動所有的Hadoop守護。包括namenode,datanode,jobtracker,tasktrack
*stop-all.sh停止所有的Hadoop
*start-mapred.sh啟動Map/Reduce守護。包括Jobtracker和Tasktrack
*stop-mapred.sh停止Map/Reduce守護
*start-dfs.sh啟動HadoopDFS守護.Namenode和Datanode
*stop-dfs.sh停止DFS守護
在這里,簡單啟動所有守護
[dbrg@dbrg-1:hadoop]$bin/start-all.sh
同樣,如果要停止hadoop,則
[dbrg@dbrg-1:hadoop]$bin/stop-all.sh


HDFS操作
運行bin/目錄的hadoop命令,可以查看Haoop所有支持的操作及其用法,這里以幾個簡單的操作為例。

建立目錄
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-mkdirtestdir
在HDFS中建立一個名為testdir的目錄

復制文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-put/home/dbrg/large.ziptestfile.zip
把本地文件large.zip拷貝到HDFS的根目錄/user/dbrg/下,文件名為testfile.zip

查看現有文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-ls。本節關于Hadoop安裝部署的內容就介紹到這里了。

【編輯推薦】

  1. Hadoop安裝部署簡明步驟詳解
  2. Hadoop開源已經實現
  3. Hadoop集群與Hadoop性能優化
  4. Hadoop 從Yahoo向Google的技術轉折
  5. Yahoo公布Hadoop的源代碼
責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-03 10:04:26

Hadoop安裝

2016-09-19 15:14:41

Hadoop Hadoop MapRWordCount

2010-06-03 14:42:47

Hadoop分布式集群

2011-09-01 19:20:02

Ubuntu

2010-05-18 09:59:06

Subversion安

2011-08-22 12:24:58

nagios

2010-06-01 17:07:01

MySQL源碼

2010-05-24 16:21:55

SVNServer安裝

2010-02-01 10:21:36

Python編碼轉換

2010-02-22 16:05:40

Python配置

2010-09-17 15:36:24

2013-01-28 10:11:24

敏捷設計敏捷開發

2013-10-17 23:12:12

Windows 8.1Windows 8.1

2009-12-08 11:34:40

WCF Windows

2017-07-28 11:31:59

iOS結構優化項目

2024-07-08 08:38:37

Python游戲開發

2021-08-26 10:05:31

APP安全加密網絡攻擊

2010-05-18 09:43:58

Subversion安

2010-05-24 16:21:55

SVNServer安裝

2010-02-03 13:55:51

Python 代碼
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 成人毛片视频免费 | 亚洲高清av | 久久久久久久久久久高潮一区二区 | 久久久久久久久久久久久9999 | 久久精品欧美一区二区三区麻豆 | 久久久69 | 欧美久久不卡 | 国产在线a视频 | 亚洲精品视频免费观看 | 2019精品手机国产品在线 | 日本aa毛片a级毛片免费观看 | 日韩av在线不卡 | 亚洲一区二区三区在线视频 | 亚洲逼院 | 亚洲一区电影 | 91资源在线 | 久久久涩| 国产99在线 | 欧美 | 国产不卡一区在线观看 | 亚洲一区二区三区久久久 | 天天操天天舔 | 久久久久国产精品一区三寸 | 免费a网站| 国内自拍视频在线观看 | 日韩欧美一区二区三区 | 国产精品一区二区在线播放 | 国产免费人成xvideos视频 | 天天综合网91 | 欧美日韩久久久 | 午夜影院操| 久久久久国产一级毛片高清网站 | 亚洲自拍偷拍av | 欧美精品久久久 | 毛片a级| 久久网站免费视频 | 亚洲不卡在线观看 | 色视频欧美 | 91精品国产一区二区三区 | 国产久 | 四虎成人精品永久免费av九九 | 久久在线免费 |