成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop 2.0集群配置詳細教程

作者：楊鑫奇
大數據 Hadoop
Hadoop是apache的開源項目，開發的主要目的是為了構建可靠，可拓展scalable ，分布式的系統， Hadoop是一系列的子工程的總和。我們今天就談談Hadoop 2.0集群配置。

1. hadoop common：為其他項目提供基礎設施

2. HDFS 分布式的文件系 統

3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一個 簡化分布式編程的框架。

4. 其他工程包含： Avro( 序列化系 統 ) ，Cassandra( 數據 庫項目 ) 等  

Hadoop,以 Hadoop 分布式文件系統（ HDFS ，Hadoop Distributed Filesystem ）和 MapReduce （ Google MapReduce 的開源實現）為核心的 Hadoop 為用戶提供了系統底層細節透明的分布式基礎架構。

對于 Hadoop 的集群來講，可以分成兩大類角色： Master 和 Salve 。一個 HDFS 集群是由一個 NameNode 和若干個 DataNode 組成的。其中 NameNode 作為主服務器，管理文件系統的命名空間和客戶端對文件系統的訪問操作；集群中的DataNode 管理存儲的數據。 MapReduce 框架是由一個 單獨運行在主節點上的 JobTracker 和 運行在每個集群從節點的 TaskTracker 共同 組成的。主節點負責調度構成一個作業的所有任務，這些任務分布在不同的從節點上。主節點監控它們的執行情況，并且重新執行之前的失敗任務；從節點僅負責由主節點指派的任務。當一個 Job 被提交時， JobTracker 接收到提交作 業和配置信息之后，就會將配置信息等分發給從節點，同時調度任務并監控 TaskTracker 的執行。

從上面的介紹可以看出， HDFS 和 MapReduce 共同 組成了Hadoop分布式系 統體系結構的核心。HDFS 在集群上 實現分布式文件系統， MapReduce 在集群上實現了分布式計算和任務處理。 HDFS 在 MapReduce 任 務處理過程中提供了文件操作和存儲等支持， MapReduce在HDFS的基 礎上實現了任務的分發、跟蹤、執行等工作，并收集結果，二者相互作用，完成了 Hadoop 分布式集群的主要任 務。

為什么要使用2.0版本（來自董的博客）

該版本提供了一些新的、重要的功能，包括： 

• HDFS HA ，當前只能 實現人工切換。

Hadoop HA 分支 merge 進了該版本，并支持熱切，主要特性包括：

（ 1 ）      NN 配置文件有改變，使得配置更加簡單

（ 2 ）      NameNode 分 為兩種角色： active NN 與 standby NN ， active NN 對外提供讀寫服務，一旦出現故障，便切換到 standby NN 。

（ 3 ）      支持 Client 端重定向，也就是 說，當 active NN 切 換到 standby NN 過程中， Client 端所有的 進行時操作都可以無縫透明重定向到 standby NN 上， Client 自己感 覺不到切換過程。

（ 4 ）      DN 同 時向 active NN 和 standby NN 匯報 block 信息。

具體 設計文檔參考： https://issues.apache.org/jira/browse/HDFS-1623

當前 Hadoop HA 只能 實現人工切換，該功能在某些情況下非常有用，比如，對 NN 進行升級時，先將 NN 切 換到 standby NN ，并 對之前的 active NN 進行升級，升級完成后，再將 NN 切 換至升級后的 NN 上，然后 對 standby NN 進行升級。

• YARN ，下一代 MapReduce 這是一套資源統一管理和調度平臺，可管理各種計算框架，包括 MapReduce 、 Spark 、 MPI 等。

YARN 是一套 資源統一管理和調度平臺，可管理各種計算框架，包括 MapReduce ， Spark ， MPI 等。盡管它是完全重寫而成，但其思想是從 MapReduce 衍化而來的，并克服了它在 擴展性和容錯性等方面的眾多不足。具體參考：

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html

• HDFS Federation ，允 許 HDFS 中存在多個 NameNode ，且每個 NameNode 分管一部分目 錄，而 DataNode 不 變，進而縮小了故障帶來的影響范圍，并起到一定的隔離作用。

傳統 HDFS 是 master/slave 結構，其中， master （也就是 NameNode ）需要存 儲所有文件系統的元數據信息，且所有文件存儲操作均需要訪問多次 NameNode ，因而 NameNode 成 為制約擴展性的主要瓶頸所在。為了解決該問題，引入了 HDFS Federation ，允 許 HDFS 中存在多個 NameNode ，且每個 NameNode 分管一部分目 錄，而 DataNode 不 變，也就是 “ 從中央集權 專政變為各個地方自治 ” ， 進而縮小了故障帶來的影響范圍，并起到一定的隔離作用。具體參考：

http://dongxicheng.org/mapreduce-nextgen/nextgen-mapreduce-introduction/

• 基準性能測試

該版本中為 HDFS 和 YARN 添加了性能的基準 測試集，其中 HDFS 測試包括：

（ 1 ）      dfsio 基準 測試 HDFS I/O 讀寫性能

（ 2 ） slive 基準 測試 NameNode 內部操作的性能

（ 3 ） scan 基準 測試 MapReduce 作 業訪問 HDFS 的 I/O 性能

（ 4 ）      shuffle 基準 測試 shuffle 階段性能

（ 5 ）      compression 基準 測試 MapReduce 作 業中間結果和最終結果的壓縮性能

（ 6 ）      gridmix-V3 基準 測試集群吞吐率

YARN     測試包括 :

（ 1 ）      ApplicationMaster 擴展性基準測試

主要 測試調度 task/container 的性能。與 1.0 版本比 較，大約快 2 倍。

（ 2 ）      ApplicationMaster 恢復性基準 測試

測試 YARN 重 啟后，作業恢復速度。稍微解釋一下 ApplicationMaster 恢復作 業的功能：在作業執行過程中， Application Master 會不斷地將作 業運行狀態保存到磁盤上，比如哪些任務運行完成，哪些未完成等，這樣，一旦集群重啟或者 master 掛掉，重 啟后，可復原各個作業的狀態，并只需重新運行未運行完成的哪些任務。

（ 3 ）      ResourceManager 擴展性基準測試

通 過不斷向 Hadoop 集群中添加 節點測試 RM 的 擴展性。

（ 4 ）      小作 業基準測試

專門測試批量小作業的吞吐率

具體參考：

http://hortonworks.com/blog/delivering-on-hadoop-next-benchmarking-performance/

• 通過 protobufs 來提供HDFS 和YARN 的兼容性

Wire-compatibility for both HDFS & YARN

Hadoop RPC采用了Hadoop自己的一套序列化框架 對 各種 對 象 進 行序列化反序列，但存在一個 問題 ： 擴 展性差，很 難 添加新的數據類型同 時 保 證 版本兼容性。 為 此，Hadoop 2.0將數據類型模 塊 從RPC中獨立出來，成 為 一個獨立的可插拔模 塊 ， 這樣 允 許 用 戶 根據個人 愛 好使用各種序列化/反序列化框架，比如thrift，arvo，protocal Buffer等，默 認 情況采用Protocal Buffer。

http://hortonworks.com/blog/rpc-improvements-and-wire-compatibility-in-apache-hadoop/

除了以上五個特性外， 還 有兩個非常重要的特性正在研 發 中，分別是：

• HDFS快照

用 戶 可在任意 時間對 HDFS做快照， 這樣 ，在HDFS出 現 故障 時 ，可將數據恢復到某個 時間 點的狀 態 。具體參考：

http://hortonworks.com/blog/snapshots-for-hdfs/

• HDFS HA自動 切換

前面介 紹 的第一個功能“HDFS HA”當前只能 實現 人工切 換 ，也就是 說 ，管理 員運 行某個命令，使得acitve NN切 換 到standby NN上。以后將支持自 動 切 換 ，也就是 說 ， 監 控模 塊 可 檢測 出active NN何 時 出 現 故障，并自 動 將之切 換 到standby NN上， 這樣 可大大 較 小Hadoop集群 運維 人 員 的工作量。具體參考：

http://s.apache.org/hdfs-autofailover

準備

機器準備

物理機器 總 共4臺，想配置基于物理機的hadoop集群中包括 4 個 節點： 1 個 Master ， 3 個 Salve ， 節點之間局域網連接，可以相互 ping 通

Ip分布 為

192.168.1.201 hadoop1

192.168.1.202 hadoop2

192.168.1.203 hadoop3

192.168.1.204 hadoop4

操作系 統為 CentOS 5.6 64bit

Master機器主要配置NameNode和JobTracker的角色， 負責總 管分布式數據和分解任 務 的 執 行；3個Salve機器配置DataNode和TaskTracker的角色， 負責 分布式數據存 儲 以及任 務 的 執 行。其 實應該還應該 有1個Master機器，用來作 為備 用，以防止Master服 務 器宕機， 還 有一個 備 用 馬 上 啟 用。后 續經驗積 累一定 階 段后 補 上一臺 備 用Master機器。

創建賬戶

使用root登 陸 所有機器后，所有的機器都 創建 hadoop 用 戶

useradd hadoop

passwd hadoop

此 時 在 /home/ 下就會生成一個 hadoop 目 錄 ，目 錄 路徑 為 /home/hadoop

創建相關的目錄

定 義 需要數據及目 錄 的存放路徑

定 義 代 碼及工具 存放的路徑

  1. mkdir -p /home/hadoop/source 
  2. mkdir -p /home/hadoop/tools 

定 義 數據 節 點存放的路徑到跟目 錄 下的hadoop文件夾, 這 里是數據 節 點存放目 錄 需要有足夠的空 間 存放

  1. mkdir -p /hadoop/hdfs 
  2. mkdir -p /hadoop/tmp 
  3. mkdir -p /hadoop/log 

設 置可寫權限

  1. chmod -R 777 /hadoop 

定 義 java安裝程序路徑

  1. mkdir -p /usr/java 

安裝

安裝JDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html

在以上 連接 下 載 linux 64 下的 jdk 的安裝文件：  jdk-6u32-linux-x64.bin

1 ，將下 載好的 jdk-6u32-linux-x64.bin 通 過 SSH 上 傳到 /usr/java 下

scp -r ./jdk-6u32-linux-x64.bin root@hadoop1:/usr/java

2 ， 進入 JDK 安裝目 錄 cd /usr/java 并且 執行 chmod +x jdk-6u32-linux-x64.bin

3 ， 執行 ./jdk-6u32-linux-x64.bin

4 ，配置 環境變量，執行 cd /etc 命令后 執行 vi profile ，在行末尾添加

export JAVA_HOME=/usr/java/jdk1.6.0_32

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar

export PATH=$JAVA_HOME/bin:$PATH

5 ， 執行 chmod +x profile 將其 變成可執行文件

6 ， 執行 source profile 使其配置立即生效

source /etc/profile

7 ， 執行 java -version 查看是否安裝成功

這個步驟所有機器都必須安裝

  1. [root@hadoop1 bin]# java -version 
  2. java version "1.6.0_32" 
  3. Java(TM) SE Runtime Environment (build 1.6.0_32-b05) 
  4. Java HotSpot(TM) 64-Bit Server VM (build 20.7-b02, mixed mode) 

修改主機名

修改主機名，所有 節點均一樣配置

1 ， 連接到主節點 192.168.1.201 ，修改 network ， 執行 vim /etc/sysconfig/network ，修改 HOSTNAME=hadoop1

2 ，修改 hosts 文件， 執行 cd /etc 命令后 執行 vi hosts ，在行末尾添加 :

192.168.1.201   hadoop1

192.168.1.202   hadoop2

192.168.1.203   hadoop3

192.168.1.204   hadoop4

3 ， 執行 hostname hadoop1

4 ， 執行 exit 后重新 連接可看到主機名以修改 OK

其他 節點 也修改主機名后添加 Host, 或者 host 文件可以在后面 執行 scp 覆蓋操作

配置SSH無密碼登陸

SSH 無密 碼原理簡介 :

首先在 hadoop1 上生成一個密 鑰對，包括一個公鑰和一個私鑰，并將公鑰復制到所有的 slave(hadoop2-hadoop4) 上。

然后當 master 通 過 SSH 連接 slave 時， slave 就會生成一個隨機數并用 master 的公 鑰對隨機數進行加密，并發送給 master 。

最后 master 收到加密數之后再用私 鑰解密，并將解密數回傳給 slave ， slave 確 認解密數無誤之后就允許 master 不 輸入密碼進行連接了

2 ，具體步 驟（在root用戶和hadoop用戶登陸情況下執行）

1 、 執行命令 ssh-keygen -t rsa 之后一路回 車，查看剛生成的無密碼鑰對： cd .ssh 后 執行 ll

2 、把 id_rsa.pub 追加到授權的 key 里面去。 執行命令 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3 、修改權限： 執行 chmod 600 ~/.ssh/authorized_keys

4 、確保 cat /etc/ssh/sshd_config 中存在如下內容

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

如需修改， 則在修改后執行重啟 SSH 服 務命令使其生效 :service sshd restart

5 、將公 鑰復制到所有的 slave 機器上 :scp ~/.ssh/id_rsa.pub 192.168.1.203 ： ~/    然后 輸入 yes ，最后 輸入 slave 機器的密 碼

6 、在 slave 機器上 創建 .ssh 文件夾 :mkdir ~/.ssh 然后 執行 chmod 700 ~/.ssh （若文件夾以存在 則不需要創建）

7 、追加到授權文件 authorized_keys 執行命令 :cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 然后 執行 chmod 600 ~/.ssh/authorized_keys

8 、重復第 4 步

9 、 驗證命令 : 在 master 機器上 執行 ssh 192.168.1.203 發現主機名由 hadoop1 變成 hadoop3 即成功，最后 刪除 id_rsa.pub 文件 :rm -r id_rsa.pub

按照以上步 驟分別配置 hadoop1,hadoop2,hadoop3,hadoop4 ，要求每個都可以無密 碼登錄

源碼下載

HADOOP 版本

最新版本 hadoop-2.0.0-alpha  安裝包 為 hadoop-2.0.0-alpha.tar.gz

下 載官網地址 :http://www.apache.org/dyn/closer.cgi/hadoop/common/

下 載到 /home/hadoop/source 目錄下

wget http://ftp.riken.jp/net/apache/hadoop/common/hadoop-2.0.0-alpha/hadoop-2.0.0-alpha.tar.gz

解壓目錄

tar zxvf hadoop-2.0.0-alpha.tar.gz

創建軟連接

cd /home/hadoop

ln -s /home/hadoop/source/hadoop-2.0.0-alpha/ ./hadoop

源碼配置修改

/etc/profile

配置 環境變量： vim /etc/profile

添加

  1. export HADOOP_DEV_HOME=/home/hadoop/hadoop 
  2. export PATH=$PATH:$HADOOP_DEV_HOME/bin 
  3. export PATH=$PATH:$HADOOP_DEV_HOME/sbin 
  4. export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} 
  5. export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} 
  6. export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME} 
  7. export YARN_HOME=${HADOOP_DEV_HOME} 
  8. export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 
  9. export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 
  10. export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 

創建并配置hadoop-env.sh

  1. vim /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh  
  2. 在末尾添加 export JAVA_HOME=/usr/java/jdk1.6.0_27 
  3.  
  4.  core-site.xml 

在 configuration 節點 里面添加屬性

  1. <property> 
  2. <name>hadoop.tmp.dir</name> 
  3. <value>/hadoop/tmp</value> 
  4. <description>A base for other temporary directories.</description> 
  5. </property> 
  6. <property> 
  7. <name>fs.default.name</name> 
  8. <value>hdfs://192.168.1.201:9000</value> 
  9. </property> 

添加 httpfs 的 選項

  1. <property> 
  2. <name>hadoop.proxyuser.root.hosts</name> 
  3. <value>192.168.1.201</value> 
  4. </property> 
  5. <property> 
  6. <name>hadoop.proxyuser.root.groups</name> 
  7. <value>*</value> 
  8. </property> 

slave配置

vim /home/hadoop/hadoop/etc/hadoop/slaves 

添加 slave 的 IP

192.168.1.202

192.168.1.203

192.168.1.204

配置hdfs-site.xml

  1. vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml 

添加 節點

  1. <property> 
  2. <name>dfs.replication</name> 
  3. <value>3</value> 
  4. </property> 
  5.  
  6. <property> 
  7. <name>dfs.namenode.name.dir</name> 
  8. <value>file:/hadoop/hdfs/name</value> 
  9. <final>true</final> 
  10. </property> 
  11.  
  12. <property> 
  13. <name>dfs.federation.nameservice.id</name> 
  14. <value>ns1</value> 
  15. </property> 
  16.  
  17. <property> 
  18. <name>dfs.namenode.backup.address.ns1</name> 
  19. <value>192.168.1.201:50100</value> 
  20. </property> 
  21.  
  22. <property> 
  23. <name>dfs.namenode.backup.http-address.ns1</name> 
  24. <value>192.168.1.201:50105</value> 
  25. </property> 
  26.  
  27. <property> 
  28. <name>dfs.federation.nameservices</name> 
  29. <value>ns1</value> 
  30. </property> 
  31.  
  32. <property> 
  33. <name>dfs.namenode.rpc-address.ns1</name> 
  34. <value>192.168.1.201:9000</value> 
  35. </property> 
  36. <property> 
  37. <name>dfs.namenode.rpc-address.ns2</name> 
  38. <value>192.168.1.201:9000</value> 
  39. </property> 
  40.  
  41. <property> 
  42. <name>dfs.namenode.http-address.ns1</name> 
  43. <value>192.168.1.201:23001</value> 
  44. </property> 
  45.  
  46. <property> 
  47. <name>dfs.namenode.http-address.ns2</name> 
  48. <value>192.168.1.201:13001</value> 
  49. </property> 
  50.  
  51. <property> 
  52. <name>dfs.dataname.data.dir</name> 
  53. <value>file:/hadoop/hdfs/data</value> 
  54. <final>true</final> 
  55. </property> 
  56.  
  57. <property> 
  58. <name>dfs.namenode.secondary.http-address.ns1</name> 
  59. <value>192.168.1.201:23002</value> 
  60. </property> 
  61.  
  62. <property> 
  63. <name>dfs.namenode.secondary.http-address.ns2</name> 
  64. <value>192.168.1.201:23002</value> 
  65. </property> 
  66.  
  67. <property> 
  68. <name>dfs.namenode.secondary.http-address.ns1</name> 
  69. <value>192.168.1.201:23003</value> 
  70. </property> 
  71.  
  72. <property> 
  73. <name>dfs.namenode.secondary.http-address.ns2</name> 
  74. <value>192.168.1.201:23003</value> 
  75. </property> 

配置yarn-site.xml

添加 節點

  1. <property> 
  2. <name>yarn.resourcemanager.address</name> 
  3. <value>192.168.1.201:18040</value> 
  4. </property> 
  5.  
  6. <property> 
  7. <name>yarn.resourcemanager.scheduler.address</name> 
  8. <value>192.168.1.201:18030</value> 
  9. </property> 
  10.  
  11. <property> 
  12. <name>yarn.resourcemanager.webapp.address</name> 
  13. <value>192.168.1.201:18088</value> 
  14. </property> 
  15.  
  16. <property> 
  17. <name>yarn.resourcemanager.resource-tracker.address</name> 
  18. <value>192.168.1.201:18025</value> 
  19. </property> 
  20.  
  21. <property> 
  22. <name>yarn.resourcemanager.admin.address</name> 
  23. <value>192.168.1.201:18141</value> 
  24. </property> 
  25.  
  26. <property> 
  27. <name>yarn.nodemanager.aux-services</name> 
  28. <value>mapreduce.shuffle</value> 
  29. </property> 

配置httpfs-site.xml

同步代碼到其他機器

1.同步配置代 碼

先在 slaves 的機器上也 創 建

mkdir -p /home/hadoop/source

部署hadoop代 碼 ， 創 建 軟連接 ，然后只要同步修改 過 的etc/hadoop下的配置文件即可

2.同步 /etc/profile

3.同步 /etc/hosts 

scp -r /etc/profile root@hadoop2:/etc/profile

scp -r /etc/hosts root@hadoop2:/etc/hosts

其他機器以此操作

Hadoop啟動

格式化集群

hadoop namenode -format -clusterid clustername

啟動hdfs

執行

start-dfs.sh

開 啟 hadoop dfs服 務     

啟動Yarn

開 啟 yarn 資 源管理服 務

start-yarn.sh

啟動httpfs

開 啟 httpfs 服 務

httpfs.sh start

使得 對外 可以提高 http 的restful接口服 務

測試

安裝結果驗證

驗證hdfs

在各臺機器 執行 jps 看 進程 是否都已 經啟動 了

  1. [root@hadoop1 hadoop]# jps 
  2. 7396 NameNode 
  3. 24834 Bootstrap 
  4. 7594 SecondaryNameNode 
  5. 7681 ResourceManager 
  6. 32261 Jps 
  7.  
  8. [root@hadoop2 ~]# jps 
  9. 8966 Jps 
  10. 31822 DataNode 
  11. 31935 NodeManager 

進程啟動 正常

驗證 是否可以登 陸

  1. hadoop fs -ls hdfs://192.168.1.201:9000/  
  2. hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder  
  3. hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder  
  4. hadoop fs -ls hdfs://192.168.1.201:9000/ testfolder 

看以上 執行 是否正常

驗證map/reduce

在 master1 上， 創建輸入目錄 :hadoop fs -mkdir hdfs://192.168.1.201:9000/input

將 /usr/hadoop/hadoop-2.0.1-alpha/ 目 錄下的所有 txt 文件復制到 hdfs 分布式文件系 統的目錄里，執行以下命令

hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input

在 hadoop1 上， 執行 HADOOP 自 帶的例子， wordcount 包，命令如下

  1. cd /usr/hadoop/hadoop-2.0.1-alpha/share/hadoop/mapreduce 
  2. hadoop jar hadoop-mapreduce-examples-2.0.1-alpha.jar wordcount hdfs://192.168.1.201:9000/input hdfs://192.168.1.201:9000/output 
  3.  
  4. hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input 

在 hadoop1 上， 查看結果命令如下 :

  1. [root@master1 hadoop]# hadoop fs -ls hdfs://192.168.1.201:9000/output 
  2. Found 2 items 
  3. -rw-r--r--   2 root supergroup          0 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/_SUCCESS 
  4. -rw-r--r--   2 root supergroup       8739 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/part-r-00000 
  5.  
  6. [root@hadoop1 hadoop]# hadoop fs -cat  hdfs://192.168.1.201:9000/output/part-r-00000  

即可看到每個 單詞的數量

驗證httpfs

HTTPFS操作：

OPEN,GETFILESTATUS,LISTSTATUS,GETHOMEDIRECTORY,GETCONTENTSUMMARY,GETFILECHECKSUM,GETDELEGATIONTOKEN,GETFILEBLOCKLOCATIONS,INSTRUMENTATION

GETHOMEDIRECTORY 路徑無關，返回根 節點路徑

  1. http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETHOMEDIRECTORY&user.name=root 
  2.  
  3. Path: "/user/root" 
  4.  
  5. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETHOMEDIRECTORY&user.name=root 

打開 / 下 載一個文件

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=open&user.name=root

LISTSTATUS 現實目錄狀態

  1. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0?op=LISTSTATUS&user.name=root 
  2. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=LISTSTATUS&user.name=root 

GETFILESTATUS 顯示文件的狀態

  1. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root 

如果是路徑 則現實路徑信息

  1. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/?op=GETFILESTATUS&user.name=root 
  2. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root 

GETCONTENTSUMMARY 獲取路徑下的信息

  1. http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETCONTENTSUMMARY&user.name=root 

GETFILECHECKSUM 獲取文件的校驗值

  1. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILECHECKSUM&user.name=root 

以下 實現 方法 還 有 錯誤現 在：

  1. ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 
  2.  
  3. GETDELEGATIONTOKEN ERROR 
  4.  
  5. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETDELEGATIONTOKEN&user.name=root 
  6.  
  7. GETFILEBLOCKLOCATIONS error 
  8.  
  9. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEBLOCKLOCATIONS&user.name=root 
  10.  
  11. INSTRUMENTATION error 
  12.  
  13. http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=INSTRUMENTATION&user.name=root 

性能測試

使用內部的 benchmark 測試 不同文件大小及不同append大小的寫入情況

hadoop jar /home/hadoop/hadoop/bin/BitwareHadoopBenchmark.jar BitwareHadoopBenchmark hdfs://192.168.1.201:9000 /bitwaretest01/ 0 20 200 4 0

參考資料

 http://qmkemail.iteye.com/blog/1612323

http://dongxicheng.org/mapreduce-nextgen/apache-hadoop-2-0-alpha/

原文鏈接：http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.html

 

【編輯推薦】

  1. 小白學數據分析:怎么做流失分析
  2. 小白學數據分析之K-means理論篇
  3. 小白學數據分析之從購買記錄分析道具支付環節
  4. 小白學數據分析之付費滲透率
  5. 小白學數據分析之Excel制作INFOGRAPHIC

 

【責任編輯：彭凡 TEL：（010）68476606】
責任編輯：彭凡 來源： 博客園
Hadoop 2.0
相關推薦

2010-06-04 17:21:48

2010-06-04 17:34:13

Hadoop0.20.

2013-11-22 09:57:03

hadoop1.2.1zookeeper-3hbase-0.94.

2010-08-18 13:10:33

MySQL NDB 6

2010-08-31 10:20:10

DB2MSCS集群

2012-01-13 10:22:22

ibmdwlotus

2012-06-25 10:30:06

Hadoop集群

2014-03-13 10:14:59

離線集群Hadoop 2.0淘寶

2010-06-04 10:35:14

2010-06-07 09:14:55

Hadoop集群

2013-05-30 09:07:29

Hadoop 2.0

2014-01-07 14:16:22

Hadoop2.0日志

2011-04-21 10:05:35

Hadoop集群lzo

2013-12-30 16:08:20

華為Oceanstor V重刪備份

2016-12-13 16:36:15

Hadoopwindows

2015-08-26 10:18:40

hbase

2013-05-27 14:05:16

2010-09-06 09:22:01

DB2集群服務

2012-05-28 09:23:40

JavaHadoopApache

2009-07-03 16:45:25

JSP實用教程
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 一区在线观看视频 | 日韩免费网 | 国产日韩精品久久 | 日韩色在线 | 色网站视频 | 男人的天堂久久 | 欧美亚洲国产一区 | 在线黄| 超碰日本 | 在线免费看毛片 | 久久精品视频9 | 日本在线免费看最新的电影 | 精品视频在线免费观看 | 精品国产欧美一区二区三区成人 | 一级片在线免费看 | 国产精品电影在线观看 | 精品国产乱码久久久久久蜜柚 | 国产目拍亚洲精品99久久精品 | 亚洲欧洲成人在线 | 成人一级黄色毛片 | 射欧美 | 久久久久久网站 | 国产欧美精品一区二区色综合 | 日韩网站免费观看 | 在线免费观看视频黄 | 精品国产乱码久久久久久蜜柚 | 超碰男人天堂 | 久久99精品久久久久久 | 国产特级毛片aaaaaa喷潮 | 亚洲 中文 欧美 日韩 在线观看 | 日本黄色不卡视频 | 一区二区三区国产精品 | 亚洲天堂一区 | 国产美女一区二区三区 | 在线视频亚洲 | 国产精品av久久久久久毛片 | 国产91成人 | 久热免费在线 | 99久久久国产精品 | 欧美激情99 | 亚洲一区二区三区在线播放 |