成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop 2.0.3在Linux環境下單機部署

作者：wenluoxi
大數據 Hadoop
與之前的穩定的hadoop-1.x相比，Apache Hadoop 2.x有較為顯著的變化。這里給出在HDFS和MapReduce兩方面的改進。

1.Hadoop2.0簡述[1]

 HDFS:為了保證name服務器的規模水平，開發人員使用了多個獨立的Namenodes和Namespaces。這些Namenode是聯合起來的，它們之間不需要相互協調。Datanode可以為所有Namenode存放數據塊，每個數據塊要在平臺上所有的Namenode上進行注冊。Datenode定期向Namenode發送心跳信號和數據報告，接受和處理Namenodes的命令。

　　YARN(新一代MapReduce)：在hadoop-0.23中介紹的新架構，將JobTracker的兩個主要的功能：資源管理和作業生命周期管理分成不同的部分。新的資源管理器負責管理面向應用的計算資源分配和每個應用的之間的調度及協調。

　　每個新的應用既是一個傳統意義上的MapReduce作業，也是這些作業的 DAG(Database Availability Group數據可用性組)，資源管理者（ResourcesManager）和管理每臺機器的數據管理者（NodeManager）構成了整個平臺的計算布局。

　　每一個應用的應用管理者實際上是一個架構的數據庫，向資源管理者（ResourcesManager）申請資源，數據管理者（NodeManager）進行執行和監測任務。

2. Hadoop2.0的目錄結構[2]

　　Hadoop2.0的目錄結構很像Linux操作系統的目錄結構，各個目錄的作用如下：

　　(1)   在新版本的hadoop中，由于使用hadoop的用戶被分成了不同的用戶組，就像Linux一樣。因此執行文件和腳本被分成了兩部分，分別存放在bin和sbin目錄下。存放在sbin目錄下的是只有超級用戶(superuser)才有權限執行的腳本，比如start-dfs.sh, start-yarn.sh, stop-dfs.sh, stop-yarn.sh等，這些是對整個集群的操作，只有superuser才有權限。而存放在bin目錄下的腳本所有的用戶都有執行的權限，這里的腳本一般都是對集群中具體的文件或者block pool操作的命令，如上傳文件，查看集群的使用情況等。

　　(2)   etc目錄下存放的就是在0.23.0版本以前conf目錄下存放的東西，就是對common, hdfs, mapreduce(yarn)的配置信息。

　　(3)   include和lib目錄下，存放的是使用Hadoop的C語言接口開發用到的頭文件和鏈接的庫。

　　(4)   libexec目錄下存放的是hadoop的配置腳本，具體怎么用到的這些腳本，我也還沒跟蹤到。目前我就是在其中hadoop-config.sh文件中增加了JAVA_HOME環境變量。

　　(5)   logs目錄在download到的安裝包里是沒有的，如果你安裝并運行了hadoop，就會生成logs 這個目錄和里面的日志。

　　(6)   share這個文件夾存放的是doc文檔和最重要的Hadoop源代碼編譯生成的jar包文件，就是運行hadoop所用到的所有的jar包。

3.學習hadoop的配置文件[3]

　　(1)   dfs.hosts記錄即將作為datanode加入集群的機器列表

　　(2)   mapred.hosts 記錄即將作為tasktracker加入集群的機器列表

　　(3)   dfs.hosts.exclude mapred.hosts.exclude 分別包含待移除的機器列表

　　(4)   master 記錄運行輔助namenode的機器列表

　　(5)   slave 記錄運行datanode和tasktracker的機器列表

　　(6)   hadoop-env.sh 記錄腳本要用的環境變量，以運行hadoop

　　(7)   core-site.xml hadoop core的配置項，例如hdfs和mapreduce常用的i/o設置等。

　　(8)   hdfs-site.xml hadoop守護進程的配置項，包括namenode、輔助namenode和datanode等。

　　(9)   mapred-site.xml mapreduce守護進程的配置項，包括jobtracker和tasktracker。

　　(10) hadoop-metrics.properties 控制metrics在hadoop上如何發布的屬性。

     (11) log4j.properties 系統日志文件、namenode審計日志、tasktracker子進程的任務日志的屬性。

4. hadoop詳細配置[4,5]

 　　從Hadoop官網上下載hadoop-2.0.0-alpha.tar.gz，放到共享文件夾中，在/usr/lib中進行解壓，運行tar -zxvf /mnt/hgfs/share/hadoop-2.0.0-alpha.tar.gz。

　　(1)在gedit ~/.bashrc中編輯：

  1. export HADOOP_PREFIX="/usr/lib/hadoop-2.0.0-alpha" 
  2. export PATH=$PATH:$HADOOP_PREFIX/bin 
  3. export PATH=$PATH:$HADOOP_PREFIX/sbin 
  4. export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} 
  5. export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 
  6. export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 
  7. export YARN_HOME=${HADOOP_PREFIX} 

仍然保存退出，再source ~/.bashrc，使之生效。

　　(2)在etc/hadoop目錄中編輯 core-site.xml

  1. <configuration> 
  2. <property> 
  3. <name>io.native.lib.available</name> 
  4. <value>true</value> 
  5. </property> 
  6. <property> 
  7. <name>fs.default.name</name> 
  8. <value>hdfs://10.1.50.170:9000</value> 
  9. <description>The name of the default file system.Either the literal string "local" or a host:port for NDFS.</description> 
  10. <final>true</final> 
  11. </property> 
  12. </configuration> 

   　　(3) 在etc/hadoop目錄中編輯hdfs-site.xml

  1. <configuration> 
  2. <property> 
  3. <name>dfs.namenode.name.dir</name> 
  4. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/dfs/name</value> 
  5. <description>Determines where on the local filesystem the DFS name node should store the 
  6. name table.If this is a comma-delimited list of directories,then name table is 
  7. replicated in all of the directories,for redundancy.</description> 
  8. <final>true</final> 
  9. </property> 
  10. <property> 
  11. <name>dfs.datanode.data.dir</name> 
  12. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/dfs/data</value> 
  13. <description>Determines where on the local filesystem 
  14. an DFS data node should store its blocks.If this is a comma-delimited
  15.  list of directories,then data will be stored in all named directories,
  16. typically on different devices.Directories that do not exist are ignored.</description> 
  17. <final>true</final> 
  18. </property> 
  19. <property> 
  20. <name>dfs.replication</name> 
  21. <value>1</value> 
  22. </property> 
  23. <property> 
  24. <name>dfs.permission</name> 
  25. <value>false</value> 
  26. </property> 
  27. </configuration> 

  　　路徑

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name與

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data

是計算機中的一些文件夾，用于存放數據和編輯文件的路徑必須用一個詳細的URI描述。

　　(4)在 /etc/hadoop 使用以下內容創建一個文件mapred-site.xml

 

  1. <configuration> 
  2. <property> 
  3. <name>mapreduce.framework.name</name> 
  4. <value>yarn</value> 
  5. </property> 
  6. <property> 
  7. <name>mapreduce.job.tracker</name> 
  8. <value>hdfs://10.1.50.170:9001</value> 
  9. <final>true</final> 
  10. </property> 
  11. <property> 
  12. <name>mapreduce.map.memory.mb</name> 
  13. <value>1536</value> 
  14. </property> 
  15. <property> 
  16. <name>mapreduce.map.java.opts</name> 
  17. <value>-Xmx1024M</value> 
  18. </property> 
  19. <property> 
  20. <name>mapreduce.reduce.memory.mb</name> 
  21. <value>3072</value> 
  22. </property> 
  23. <property> 
  24. <name>mapreduce.reduce.java.opts</name> 
  25. <value>-Xmx2560M</value> 
  26. </property> 
  27. <property> 
  28. <name>mapreduce.task.io.sort.mb</name> 
  29. <value>512</value> 
  30. </property> 
  31. <property> 
  32. <name>mapreduce.task.io.sort.factor</name> 
  33. <value>100</value> 
  34. </property> 
  35. <property> 
  36. <name>mapreduce.reduce.shuffle.parallelcopies</name> 
  37. <value>50</value> 
  38. </property> 
  39. <property> 
  40. <name>mapred.system.dir</name> 
  41. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/mapred/system</value> 
  42. <final>true</final> 
  43. </property> 
  44. <property> 
  45. <name>mapred.local.dir</name> 
  46. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/mapred/local</value> 
  47. <final>true</final> 
  48. </property> 
  49. </configuration> 

 

 　　　路徑:

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system與

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local

 為計算機中用于存放數據的文件夾路徑必須用一個詳細的URI描述。

 　　(5)編輯yarn-site.xml

 　　　　　

  1. 　<configuration> 
  2. <property> 
  3. <name>yarn.resourcemanager.address</name> 
  4. <value>10.1.50.170:8080</value> 
  5. </property> 
  6. <property> 
  7. <name>yarn.resourcemanager.scheduler.address</name> 
  8. <value>10.1.50.170:8081</value> 
  9. </property> 
  10. <property> 
  11. <name>yarn.resourcemanager.resource-tracker.address</name> 
  12. <value>10.1.50.170:8082</value> 
  13. </property> 
  14. <property> 
  15. <name>yarn.nodemanager.aux-services</name> 
  16. <value>mapreduce.shuffle</value> 
  17. </property> 
  18. <property> 
  19. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  20. <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  21. </property> 
  22. </configuration> 

 

　　(6) 在 /etc/hadoop 目錄中創建hadoop-env.sh 并添加：

export HADOOP_FREFIX=/usr/lib/hadoop-2.0.0-alpha

export HADOOP_COMMON_HOME=${HADOOP_FREFIX}

export HADOOP_HDFS_HOME=${HADOOP_FREFIX}

export PATH=$PATH:$HADOOP_FREFIX/bin

export PATH=$PATH:$HADOOP_FREFIX/sbin

export HADOOP_MAPRED_HOME=${HADOOP_FREFIX}

export YARN_HOME=${HADOOP_FREFIX}

export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-sun

 　　另，需要yarn-env.sh中充填相同的內容，再配置到各節點。

　　配置過程中遇到的問題：

　　▼在瀏覽器中localhost:8088中，只能看到主節點的信息，看不到datanode的信息。

解決方法：在重新配置yarn.xml（以上為修改后內容）后已經可以看到兩個節點，但啟動后有一個datanode會自動關閉。

　　▼在糾結了很長時間kerbose的問題后，才找到運行不能的原因是這個提示：

　　INFO mapreduce.Job: Job job_1340251923324_0001 failed with state FAILED due to: Application application_1340251923324_0001 failed 1 times due to AM Container for appattempt_1340251923324_0001_000001 exited with  exitCode: 1 due to:Failing this attempt.. Failing the application.

　　按照一個國外友人的回貼[6]fs.deault.name -> hdfs://localhost:9100 in core-site.xml ，mapred.job.tracker - > http://localhost:9101 in mapred-site.xml，錯誤提示發生改變。再把hadoop-env.sh中的內容copy到yarn-env.sh中，平臺就可以勉強運行了（還是有報警）

5.初始化hadoop

　　首先格式化 namenode，輸入命令 hdfs namenode –format；

 

　　然后開始守護進程 hadoop-daemon.sh start namenode 和 hadoop-daemon.sh start datanode或（可以同時啟動：start-dfs.sh）；然后，開始 Yarn 守護進程運行 yarn-daemon.sh start resourcemanager和 yarn-daemon.sh start nodemanager（或同時啟動： start-yarn.sh）。

　　最后，檢查守護進程是否啟動運行 jps，是否輸出以下結果：

　　在datanode上jps，有以下輸出：

　　瀏覽UI，打開 localhost:8088 可以查看資源管理頁面。

　　結束守護進程stop-dfs.sh和stop-yarn.sh(或者同時關閉stop-all.sh)。

原文鏈接：http://wenluoxicheng.blog.163.com/blog/static/192519939201325114018477/

責任編輯：彭凡 來源： 網易博客
Hadoop 2.0.3
相關推薦

2015-08-26 10:18:40

hbase

2010-11-25 16:48:20

HadoopHbase

2012-11-07 17:25:46

hadoopUbuntu 12.0

2021-09-03 06:46:35

CouponsLinux環境

2022-09-27 12:00:58

HadoopK8S開源

2024-07-09 08:15:26

鴻蒙PythonC++

2017-02-17 09:14:14

Hadoop

2021-02-03 14:30:30

Linux并發內核

2021-11-12 08:21:25

SQL ServerLinux數據庫

2021-05-16 07:44:01

Hadoop大數據HDFS

2013-06-13 10:39:54

Hadoop2.0.4

2010-06-04 18:29:02

Hadoop單機模式

2022-02-09 15:44:20

RocketMQLinux系統

2020-12-18 09:15:16

LinuxVue命令

2010-06-03 13:21:07

HadoopHBase

2010-03-02 09:10:41

Visual Stud

2011-01-14 11:27:02

Linux制作網頁

2013-09-16 10:40:44

Sizzle

2010-06-04 14:12:57

Hadoop開發環境

2013-05-27 14:13:51

Hadoop 2.0.
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 精品国产乱码久久久久久牛牛 | 精品1区 | 免费黄色大片 | 国产精品久久久精品 | 99精品欧美一区二区三区 | 国产一区二区三区四 | 亚洲精品一区二区三区中文字幕 | 国产视频中文字幕 | 一区中文字幕 | 国产成人福利视频 | 国产最好的av国产大片 | 久久亚洲91| 亚洲a视频 | 夜夜爽99久久国产综合精品女不卡 | 亚洲精品电影网在线观看 | 天天夜天天操 | 久久久久久久久久影视 | 欧美视频精品 | 日韩成人在线一区 | 3级毛片| 精品久久久久久久 | 国产精品自产拍在线观看蜜 | 在线观看成人小视频 | 亚洲国产成人精品女人久久久 | 亚洲视频在线看 | 麻豆一区二区三区精品视频 | 免费a级毛片在线播放 | 国产精品国产三级国产a | 一级毛片免费 | 日韩国产精品一区二区三区 | 精品久久不卡 | 成人精品一区二区三区中文字幕 | 国产在线观看一区 | 久久久久久九九九九九九 | 久久久www成人免费精品张筱雨 | 午夜精品一区二区三区在线观看 | 中文字幕 国产 | 亚洲视频一区在线观看 | 成av在线| 天天躁日日躁aaaa视频 | www.国产精|