成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

三臺主機建立Hadoop小集群

作者：石頭兒
開發 開發工具 Hadoop
我們將介紹如何用三臺主機建立Hadoop小集群，先用VMWare安裝三臺虛擬機（可以先安裝一臺，然后clone兩臺），按照節點安排及網絡拓撲配置網絡。

部署環境：

OS：Redhat 5.5 Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

節點安排及網絡拓撲：

節點類型　　　　　　節點IP　　　　　　節點hostname

master節點　　　　 192.168.40.5　　master

slave節點　　　　　 192.168.40.5　　master(此時，master既是master節點，也是slave節點)

　　　　　　　　　　192.168.40.6　　salve1

　　　　　　　　　　192.168.40.7　　slave2

secondaryName節點192.168.40.5　　master(此時，master既是master節點，也是slave節點，也是secondaryNameNode)

配置步驟：

一、網絡配置

首先關閉三臺虛擬機的防火墻，步驟可參考：關閉防火墻

先用VMWare安裝三臺虛擬機（可以先安裝一臺，然后clone兩臺），按照節點安排及網絡拓撲配置網絡，先配置master節點的網絡：

① 靜態網絡IP配置見VMware Redhat網絡配置，分別將三臺虛擬機的IP進行設置

② 修改主機名：vi /etc/hosts(解析IP要用)，添加

192.168.40.5 master
192.168.40.6 slave1
192.168.40.7 slave2

③ 按照此過程及相同數據(除了IP地址不同)對三臺虛擬機進行配置

二、 安裝jdk

Hadoop 是用java開發的，Hadoop的編譯及mapreduce的運行都需要使用JDK，所以JDK是必須安裝的

① 下載jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

② 在用戶根目錄下，建立bin文件夾：mkdir ~/bin（也可放在其他處，個人習慣而已）

③ 改變執行權限：chmod u+x jdk-6u26-linux-i586.bin

④ 執行文件：sudo -s ./jdk-6u26-linux-i586.bin，一路確定

⑤ 配置環境變量：vi ~/.bash_profile,添加：

 

  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
  2. export PATH=$PATH:$JAVA_HOME/bin 

⑥ 使profile文件生效：source ~/.bash_profile

⑦ 驗證是否配置成功：which java

[root@master ~]# which java
/root/bin/jdk1.6.0_32/bin/java 配置生效。也可輸入java -version, java, javac進一步確定

⑧ 分別相同配置另外兩臺主機

 

  1. <JDK Installation End> 

三、建立ssh互信

hadoop 需要通過ssh互信來啟動slave里表中各個主機的守護進程，所以SSH是必須安裝的（redhat 5.5 Enterprise 以默認安裝）。但是是否建立ssh互信（即無密碼登陸）并不是必須的，但是如果不配置，每次啟動hadoop，都需要輸入密碼以便登錄到每臺機器的Datanode上，而一般的hadoop集群動輒數百或數千臺機器，因此一般來說都會配置ssh互信。

① 生成密鑰并配置ssh無密碼登陸主機(在master主機)

 

  1. ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa  
  2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

 

② 將authorized_keys文件拷貝到兩臺slave主機

 

  1. scp authorized_keys slave1:~/.ssh/  
  2. scp authorized_keys slave2:~/.ssh/ 

 

③ 檢查是否可以從master無密碼登陸slave機

ssh slave1(在master主機輸入) 登陸成功則配置成功，exit退出slave1返回master

四、配置Hadoop

① 下載：點擊到下載頁面，選擇hadoop-0.20.2.tar.gz

② 放到~/bin下解壓： tar -xzvf hadoop-0.20.2.tar.gz

③ 解壓后進入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

export JAVA_HOME=/root/bin/jdk1.6.0_32轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有這一行，默認是被注釋的，只需要把注釋去掉，并且把JAVA_HOME 改成你的java安裝目錄即可

修改core-site.xml

  1. <?xml version="1.0"?> 
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  3.  
  4. <!-- Put site-specific property overrides in this file. --> 
  5.  
  6. <configuration> 
  7.   <property> 
  8.     <name>fs.default.name</name> 
  9.     <value>hdfs://master:9000</value> 
  10.   </property> 
  11.   <property> 
  12.     <name>Hadoop.tmp.dir</name> 
  13.     <value>/tmp/hadoop-root</value> 
  14.   </property> 
  15. </configuration> 

轉載注明出處：博客園 石頭兒 http://www.cnblogs.com/shitouer/

注釋一：hadoop分布式文件系統文件存放位置都是基于hadoop.tmp.dir目錄的，namenode的名字空間存放地方就是 ${hadoop.tmp.dir}/dfs/name, datanode數據塊的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以設置好hadoop.tmp.dir目錄后，其他的重要目錄都是在這個目錄下面，這是一個根目錄。

注釋二：fs.default.name,設置namenode所在主機，端口號是9000

注釋三：core-site.xml 對應有一個core-default.xml, hdfs-site.xml對應有一個hdfs-default.xml,mapred-site.xml對應有一個mapred-default.xml。這三個defalult文件里面都有一些默認配置，現在我們修改這三個site文件，目的就覆蓋default里面的一些配置

修改hdfs-site.xml

  1. <?xml version="1.0"?> 
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  3.  
  4. <!-- Put site-specific property overrides in this file. --> 
  5.  
  6. <configuration> 
  7.   <property> 
  8.     <name>dfs.replication</name> 
  9.     <value>3</value> 
  10.   </property> 
  11. </configuration> 

dfs.replication，設置數據塊的復制次數，默認是3，如果slave節點數少于3，則寫成相應的1或者2

修改mapred-site.xml

  1. <?xml version="1.0"?> 
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  3.  
  4. <!-- Put site-specific property overrides in this file. --> 
  5.  
  6. <configuration> 
  7.   <property> 
  8.     <name>mapred.job.tracker</name> 
  9.     <value>http://master:9001</value> 
  10.   </property> 
  11. </configuration> 

mapred.job.tracker，設置jobtracker所在機器，端口號9001

修改masters

master     


雖然masters內寫的是master，但是個人感覺，這個并不是指定master節點，而是配置secondaryNameNode

修改slaves

master
slave1
slave2
 
配置了集群中所有slave節點

④ 添加hadoop環境變量，并 source ~/.bash_profile使之生效

  1. export JAVA_HOME=/root/bin/jdk1.6.0_32  
  2. export HADOOP_HOME=/root/bin/hadoop-0.20.2 
  3. export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 

⑤ 將已經配置好的hadoop-0.20.2，分別拷貝到另外兩臺主機，并做相同配置

⑥ 此時，hadoop的集群配置已經完成，輸入hadoop，則可看到hadoop相關的操作

  1. [root@master ~]# hadoop  
  2. Usage: hadoop [--config confdir] COMMAND  
  3. where COMMAND is one of:  
  4.   namenode -format     format the DFS filesystem  
  5.   secondarynamenode    run the DFS secondary namenode  
  6.   namenode             run the DFS namenode  
  7.   datanode             run a DFS datanode  
  8.   dfsadmin             run a DFS admin client  
  9.   mradmin              run a Map-Reduce admin client  
  10.   fsck                 run a DFS filesystem checking utility  
  11.   fs                   run a generic filesystem user client  
  12.   balancer             run a cluster balancing utility  
  13.   jobtracker           run the MapReduce job Tracker node  
  14.   pipes                run a Pipes job  
  15.   tasktracker          run a MapReduce task Tracker node  
  16.   job                  manipulate MapReduce jobs  
  17.   queue                get information regarding JobQueues  
  18.   version              print the version  
  19.   jar <jar>            run a jar file  
  20.   distcp <srcurl> <desturl> copy file or directories recursively  
  21.   archive -archiveName NAME <src>* <dest> create a hadoop archive  
  22.   daemonlog            get/set the log level for each daemon  
  23.  or  
  24.   CLASSNAME            run the class named CLASSNAME  
  25. Most commands print help when invoked w/o parameters. 

⑦ 此時，首先格式化hadoop

在命令行里執行，hadoop namenode -format

⑧ 啟動hadoop

在命令行里執行，start-all.sh，或者執行start-dfs.sh,再執行start-mapred.sh

⑨ 輸入jps，查看啟動的服務進程


master節點：[root@master ~]# jps
25429 SecondaryNameNode
25500 JobTracker
25201 NameNode
25328 DataNode
18474 Jps
25601 TaskTracker

slave節點：[root@slave1 ~]# jps
4469 TaskTracker
4388 DataNode
29622 Jps

如上顯示，則說明相應的服務進程都啟動成功了。

圈10(額，像①一樣的圈出不來了(⊙o⊙)) 查看hdfs分布式文件系統的 文件目錄結構

hadoop fs -ls /

此時發現為空，因為確實什么也沒有，運行一下命令，則可創建一個文件夾：

hadoop fs -mkdir /newDir

再次執行hadoop fs -ls /，則會看到newDir文件夾，關于hadoop fs 命令，參見：HDFS 命令

圈11 運行hadoop 類似hello world的程序

本來，都是以word count來運行的，但是還得建文件夾之類的，有一個更簡單的，就是example中的計算π值的程序，我們來計算一下，進入hadoop目錄，運行如下：

  1.  
  2. [root@slave1 hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar pi 4 2  
  3. Number of Maps  = 4 
  4. Samples per Map = 2 
  5. Wrote input for Map #0  
  6. Wrote input for Map #1  
  7. Wrote input for Map #2  
  8. Wrote input for Map #3  
  9. Starting Job  
  10. 12/05/20 09:45:19 INFO mapred.FileInputFormat: Total input paths to process : 4  
  11. 12/05/20 09:45:19 INFO mapred.JobClient: Running job: job_201205190417_0005  
  12. 12/05/20 09:45:20 INFO mapred.JobClient:  map 0% reduce 0%  
  13. 12/05/20 09:45:30 INFO mapred.JobClient:  map 50% reduce 0%  
  14. 12/05/20 09:45:31 INFO mapred.JobClient:  map 100% reduce 0%  
  15. 12/05/20 09:45:45 INFO mapred.JobClient:  map 100% reduce 100%  
  16. 12/05/20 09:45:47 INFO mapred.JobClient: Job complete: job_201205190417_0005  
  17. 12/05/20 09:45:47 INFO mapred.JobClient: Counters: 18  
  18. 12/05/20 09:45:47 INFO mapred.JobClient:   Job Counters   
  19. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched reduce tasks=1 
  20. 12/05/20 09:45:47 INFO mapred.JobClient:     Launched map tasks=4 
  21. 12/05/20 09:45:47 INFO mapred.JobClient:     Data-local map tasks=4 
  22. 12/05/20 09:45:47 INFO mapred.JobClient:   FileSystemCounters  
  23. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_READ=94 
  24. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_READ=472 
  25. 12/05/20 09:45:47 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=334 
  26. 12/05/20 09:45:47 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215 
  27. 12/05/20 09:45:47 INFO mapred.JobClient:   Map-Reduce Framework  
  28. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input groups=8 
  29. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine output records=0 
  30. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input records=4 
  31. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce shuffle bytes=112 
  32. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce output records=0 
  33. 12/05/20 09:45:47 INFO mapred.JobClient:     Spilled Records=16 
  34. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output bytes=72 
  35. 12/05/20 09:45:47 INFO mapred.JobClient:     Map input bytes=96 
  36. 12/05/20 09:45:47 INFO mapred.JobClient:     Combine input records=0 
  37. 12/05/20 09:45:47 INFO mapred.JobClient:     Map output records=8 
  38. 12/05/20 09:45:47 INFO mapred.JobClient:     Reduce input records=8 
  39. Job Finished in 28.952 seconds  
  40. Estimated value of Pi is 3.50000000000000000000 

計算PI值為3.5，還算靠近，至于輸出log日志，就不介紹了，以后學的稍微深入，可多做了解。

Hadoop 三節點集群的配置就介紹到這里，接下來，會介紹一下如何在windows中遠程連接hadoop，并配置eclipse來進行MapReduce的開發和調試。

原文鏈接：http://www.cnblogs.com/shitouer/archive/2012/05/21/2511060.html

【編輯推薦】

  1. Apache .htaccess文件的8個用法
  2. Hadoop 從Yahoo向Google的技術轉折
  3. Hadoop集群與Hadoop性能優化
  4. Facebook實時信息系統：HBase每月存儲1350億條信息  

 

責任編輯：彭凡 來源： 博客園
Hadoop
相關推薦

2014-07-01 09:53:21

DockerHadoop集群

2014-03-21 11:08:17

Unix終端Unix

2012-02-17 00:01:21

heartbeat節點高可用

2011-01-07 11:00:49

Linux命令

2010-07-01 13:35:51

vsftpd

2018-11-12 13:45:05

Hadoop攻擊互聯網

2009-06-12 17:45:16

JMS集群JBoss集群

2017-08-15 15:00:50

虛擬主機集群服務器

2016-10-27 09:37:10

Hadoop集群配置

2011-12-07 16:11:50

Hadoop集群搭建

2010-05-24 14:59:29

Hadoop集群

2012-09-10 15:18:11

云梯淘寶大數據

2017-08-13 08:29:12

VMware客戶端主機

2018-07-17 15:05:34

京東Hadoop集群分布式資源管理

2023-11-07 07:30:18

Hadoop高可用

2024-06-13 11:47:17

2012-06-25 10:30:06

Hadoop集群

2010-07-13 15:23:10

vsftpd

2021-04-12 07:41:57

Centos7系統分布式集群

2010-06-04 18:17:50

Hadoop集群
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 精品国产18久久久久久二百 | 亚洲精品日韩精品 | 欧美天堂在线观看 | 亚洲欧美精品在线观看 | 国产精品久久久久久亚洲调教 | 精品一区二区三区不卡 | 国精产品一区一区三区免费完 | 天天玩夜夜操 | 久久成人一区 | 男人天堂国产 | 午夜成人免费视频 | 激情五月综合 | 亚洲第1页 | 成人免费在线观看视频 | 夜夜爽99久久国产综合精品女不卡 | 欧美日韩在线免费观看 | 在线色网 | h在线免费观看 | 羞羞视频在线观看免费观看 | 在线成人 | 欧美在线观看免费观看视频 | 91视频网址 | 我要看免费一级毛片 | 成人免费视屏 | 久久91视频 | 国产免费一区二区三区 | 欧美日韩国产精品激情在线播放 | 亚洲精品 在线播放 | 亚洲男女视频在线观看 | 香蕉大人久久国产成人av | 国产精品一区二区视频 | 久久蜜桃av一区二区天堂 | 草比网站 | 久久久久无码国产精品一区 | 日韩一区二区三区在线 | 国产在线二区 | 欧美日韩在线一区二区 | 久久视频免费看 | 99久久精品国产麻豆演员表 | 日本精品久久久一区二区三区 | 免费激情网站 |