本節(jié)和大家一起學(xué)習(xí)一下Hadoop0.20.0部署與測(cè)試方面的知識(shí)，主要包括下載Hadoop軟件和啟動(dòng)Hadoop集群前的準(zhǔn)備工作等內(nèi)容，希望通過(guò)本節(jié)的介紹大家能夠掌握Hadoop0.20.0部署與測(cè)試的方法。

Hadoop0.20.0部署與測(cè)試

--最近對(duì)Hadoop的部署小有收獲，本文總結(jié)部署的主要過(guò)程以及遇到的問(wèn)題，其中很多地方也是借鑒網(wǎng)絡(luò)上其他高手的經(jīng)驗(yàn)(資料大部分是0.19乃至更早的，0.20在配置上已有部分調(diào)整)。
Hadoop官方(強(qiáng)烈建議仔細(xì)閱讀官方原文文檔)
整個(gè)部署過(guò)程主要分為以下幾部分(以***0.20.0版本為例)：
系統(tǒng)環(huán)境為ubuntu.04、JDK1.6

1.下載

從Apache的任意鏡像站點(diǎn)上下載Hadoop***版本
壓縮包中的docs下有使用手冊(cè)，docs/cn下是中文手冊(cè)(0.19)

2.啟動(dòng)hadoop集群前的準(zhǔn)備工作

2.1安裝JDK如果機(jī)器為多核建議安裝JDK1.6，可以提高程序運(yùn)行效率。

在/home/[$hadoop_home]/conf目錄下的hadoop_env.sh中設(shè)置Hadoop需要的環(huán)境變量，其中JAVA_HOME是必須設(shè)定的變量。
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportJAVA_HOME=/usr/lib/jvm/java-6-sun

2.2配置SSH(for配置集群)

安裝SSH
以UbuntuLinux為例：
$sudoapt-getinstallssh
$sudoapt-getinstallssh

生成密鑰對(duì)
$ssh-keygen-trsa-P''
$ssh-keygen-trsa-P''

詢(xún)問(wèn)其保存路徑時(shí)直接回車(chē)采用默認(rèn)路徑
生成的密鑰對(duì)id_rsa，id_rsa.pub，默認(rèn)存儲(chǔ)在/home/[$user]/.ssh目錄下。
然后將id_rsa.pub的內(nèi)容復(fù)制到每個(gè)機(jī)器(也包括本機(jī))的/home/[$user]/.ssh/authorized_keys文件中。
如果機(jī)器上已經(jīng)有authorized_keys這個(gè)文件了，就在文件末尾加上id_rsa.pub中的內(nèi)容。
如果沒(méi)有authorized_keys這個(gè)文件，直接cp或者scp就好了。

沒(méi)有authorized_keys時(shí)
$cpid_rsa.pubauthorized_keys
$cpid_rsa.pubauthorized_keys

或使用追加命令
$catid_rsa.pub>>authorized_keys
$catid_rsa.pub>>authorized_keys

Hadoop0.20.0部署中下面這步必須操作否則SSH無(wú)法正常運(yùn)行，修改authorized_keys文件權(quán)限為當(dāng)前用戶(hù)可讀寫(xiě)，其他用戶(hù)只讀。
$chmod600authorized_keys
$chmod600authorized_keys
為了進(jìn)一步加強(qiáng)安全，可以修改本機(jī)文件/etc/ssh/sshd_config，這樣設(shè)定之后SSH就只能通過(guò)密鑰認(rèn)證登錄。

#去除密碼認(rèn)證
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys
#去除密碼認(rèn)證
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys。請(qǐng)關(guān)注下節(jié)關(guān)于Hadoop0.20.0部署與測(cè)試介紹。
 

【編輯推薦】

1. hadoop-0.20.1部署手冊(cè)新手必備
2. 如何進(jìn)行Hadoop安裝部署？
3. Hadoop文件系統(tǒng)如何快速安裝？
4. Hadoop集群搭建過(guò)程中相關(guān)環(huán)境配置詳解
5. Hadoop完全分布模式安裝實(shí)現(xiàn)詳解