成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop單機(jī)模式安裝方法深入剖析

開發(fā) 架構(gòu) Hadoop
Hadoop相信大家應(yīng)該有所了解,它是MapReduce的開源實(shí)現(xiàn),現(xiàn)在介紹它的單機(jī)模式安裝方法,歡迎大家一起來學(xué)習(xí),希望通過本文介紹大家對(duì)Hadoop單機(jī)模式安裝方法有一定的認(rèn)識(shí)。

本節(jié)和大家一起學(xué)習(xí)一下Hadoop單機(jī)模式安裝方法,Hadoop單機(jī)模式安裝主要有九個(gè)步驟,相信通過本節(jié)的介紹大家對(duì)Hadoop的安裝方法有進(jìn)一步的了解,讓我們一起來學(xué)習(xí)Hadoop單機(jī)模式吧。

Hadoop單機(jī)模式安裝

實(shí)驗(yàn)平臺(tái):Ubuntu9.04,Hadoop0.20,JDK1.6

step1.ssh的安裝設(shè)置

由于Hadoop用ssh通信,因此先進(jìn)行免密碼登錄設(shè)定,
$apt-getinstallssh
$ssh-keygen-trsa-P''-f~/.ssh/id_rsa
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
$sshlocalhost
完成后請(qǐng)登入確認(rèn)不用輸入密碼,(第一次登入需按enter鍵,第二次就可以直接登入到系統(tǒng)。
~$sshlocalhost
~$exit
~$sshlocalhost
~$exit

step2.安裝java

由于SunJavaRuntime是執(zhí)行Hadoop必備的工具,因此我們需要安裝JRE或JDK。這里我們直接安裝JDK,因?yàn)楹竺鎸懗绦蛉耘f需要用到JDK所提供的編譯程序。目前Ubuntu9.04提供的JDK套件最新版本為SunJava(TM)DevelopmentKit(JDK)6,套件名稱為sun-java6-jdk。并建議刪除原本的「gcj」。
~$sudoapt-getpurgejava-gcj-compat
~$sudoapt-getinstallsun-java6-binsun-java6-jdksun-java6-jre

step3.下載安裝Hadoop

?Hadoop單機(jī)模式時(shí)請(qǐng)至下載Hadoop0.20,并解開壓縮文件到/opt路徑。
?$tarzxvfhadoop-0.20.0.tar.gz
?$sudomvhadoop-0.20.0/opt/
?$sudochown-Rhadoop:hadoop/opt/hadoop-0.20.0
?$sudoln-sf/opt/hadoop-0.20.0/opt/hadoop

step4.設(shè)定hadoop-env.sh

?進(jìn)入hadoop目錄,做進(jìn)一步的設(shè)定。我們需要修改兩個(gè)檔案,第一個(gè)是hadoop-env.sh,需要設(shè)定JAVA_HOME,HADOOP_HOME,PATH三個(gè)環(huán)境變量。
/opt$cdhadoop/
/opt/hadoop$cat>>conf/hadoop-env.sh<<EOF
貼上以下信息
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:/opt/hadoop/bin
EOF

step5.設(shè)定hadoop配置文件

 

  1. ?編輯/opt/hadoop/conf/core-site.xml  
  2. <configuration> 
  3. <property> 
  4. <name>fs.default.name</name> 
  5. <value>hdfs://localhost:9000</value> 
  6. </property> 
  7. <property> 
  8. <name>hadoop.tmp.dir</name> 
  9. <value>/tmp/hadoop/hadoop-${user.name}</value> 
  10. </property> 
  11. </configuration> 
  12. ?編輯/opt/hadoop/conf/hdfs-site.xml  
  13. <configuration> 
  14. <property> 
  15. <name>dfs.replication</name> 
  16. <value>1</value> 
  17. </property> 
  18. </configuration> 
  19. ?編輯/opt/hadoop/conf/mapred-site.xml  
  20. <configuration> 
  21. <property> 
  22. <name>mapred.job.tracker</name> 
  23. <value>localhost:9001</value> 
  24. </property> 
  25. </configuration> 
  26.  

 

step6.格式化HDFS

?Hadoop單機(jī)模式安裝過程中需要格式化HDFS。以上我們已經(jīng)設(shè)定好Hadoop單機(jī)測試的環(huán)境,接著讓我們來啟動(dòng)Hadoop相關(guān)服務(wù),格式化namenode,secondarynamenode,tasktracker
?$cd/opt/hadoop
?$source/opt/hadoop/conf/hadoop-env.sh
?$hadoopnamenode-format

step7.啟動(dòng)Hadoop

?接著用start-all.sh來啟動(dòng)所有服務(wù),包含namenode,datanode,
/opt/hadoop$bin/start-all.sh
執(zhí)行畫面如:
startingnamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
localhost:startingdatanode,loggingto/opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
localhost:startingsecondarynamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
startingjobtracker,loggingto/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out

step8.安裝完畢測試

?啟動(dòng)之后,可以檢查以下網(wǎng)址,來觀看服務(wù)是否正常。Hadoop管理接口HadoopTaskTracker狀態(tài)HadoopDFS狀態(tài)
?http://localhost:50030/-Hadoop管理接口
注:已安裝測試成功,參考修改于http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab1,感謝NCHC。本節(jié)關(guān)于Hadoop單機(jī)模式安裝介紹到這里。

【編輯推薦】

  1. Hadoop完全分布模式安裝實(shí)現(xiàn)詳解
  2. Hadoop偽分布模式安裝如何實(shí)現(xiàn)?
  3. 專家講解 Hadoop:HBASE松散數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
  4. 兩種模式運(yùn)行Hadoop分布式并行程序
  5. Hadoop環(huán)境搭建如何快速實(shí)現(xiàn)?
責(zé)任編輯:佚名 來源: javaeye.com
相關(guān)推薦

2010-06-03 13:08:51

2010-06-17 14:35:03

設(shè)計(jì)模式 UML

2010-06-03 11:23:19

Hadoop

2010-08-09 16:01:37

Flex字體

2010-08-13 09:54:23

Flex字體

2010-06-07 14:55:32

nutch+hadoo

2024-04-29 08:06:19

Redis分布式系統(tǒng)

2010-10-08 14:19:34

JavaScript split()

2009-12-01 17:00:49

PHP變量

2009-09-14 15:12:40

LINQ to XML

2010-05-25 12:59:00

Subversion

2009-09-27 17:13:36

Hibernate V

2011-06-03 13:48:18

JavaScript重構(gòu)

2009-07-06 10:44:45

JSP charset

2025-02-10 00:25:00

命令模式擴(kuò)展機(jī)制系統(tǒng)

2010-07-09 13:55:53

UML面向?qū)ο蠼?/a>

2010-06-04 15:27:17

Hadoop本地

2009-09-28 14:54:33

Hibernate映射

2011-07-11 17:38:42

JAVA

2010-07-07 10:23:31

UML建模
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 青青久在线视频 | 欧美激情国产精品 | 欧美在线视频a | www.久久 | 国产精品视频专区 | 久久91精品国产一区二区三区 | 手机三级电影 | 在线一区 | 精品国产鲁一鲁一区二区张丽 | av黄色国产 | 日韩一区二区视频 | 草草视频在线播放 | 亚洲电影一区 | 人人干人人舔 | 天色综合网 | 色播久久久 | 久久不卡 | 成人久久网 | 成人三级网址 | 不用播放器看的av | 久久精品免费观看 | 亚洲视频三区 | 日韩一区二区在线播放 | 91视频国产一区 | 91 久久| 久久亚洲欧美日韩精品专区 | 久久精品无码一区二区三区 | 久久久亚洲精品视频 | 亚洲精品第一国产综合野 | 国产在线精品一区 | 亚洲精品乱码久久久久久9色 | 九九久久精品视频 | 国产在线视频在线观看 | www.久久 | 在线精品亚洲欧美日韩国产 | 中文字幕 欧美 日韩 | 欧美性猛交| 午夜男人的天堂 | 天天干天天操天天射 | 亚洲日日操 | 少妇久久久 |