Hadoop中ssh+IP、ssh+別名免秘鑰登錄配置
1、為什么要進(jìn)行 SSH 無(wú)密碼驗(yàn)證配置?
Hadoop運(yùn)行過(guò)程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程，在Hadoop啟動(dòng)以后，NameNode是通過(guò)SSH(Secure Shell)來(lái)啟動(dòng)和停止各個(gè)DataNode上的各種守護(hù)進(jìn)程的。這就必須在節(jié)點(diǎn)之間執(zhí)行指令的時(shí)候是不需要輸入密碼的形式，故我們需要配置SSH運(yùn)用無(wú)密碼公鑰認(rèn)證的形式，這樣NameNode使用SSH無(wú)密碼登錄并啟動(dòng)DataName進(jìn)程，同樣原理，DataNode上也能使用SSH無(wú)密碼登錄到NameNode。
2、為什么要使用 SSH?
在linux系統(tǒng)中,ssh是遠(yuǎn)程登錄的默認(rèn)工具,因?yàn)樵摴ぞ叩膮f(xié)議使用了RSA/DSA的加密算法.該工具做linux系統(tǒng)的遠(yuǎn)程管理是非常安全的。telnet,因?yàn)槠洳话踩?在linux系統(tǒng)中被擱置使用了。
3、SSH 原理
Master(NameNode | JobTracker)作為客戶(hù)端，要實(shí)現(xiàn)無(wú)密碼公鑰認(rèn)證，連接到服務(wù)器Salve(DataNode | Tasktracker)上時(shí)，需要在Master上生成一個(gè)密鑰對(duì)，包括一個(gè)公鑰和一個(gè)私鑰，而后將公鑰復(fù)制到所有的Slave上。當(dāng)Master通過(guò)SSH連接Salve時(shí)，Salve就會(huì)生成一個(gè)隨機(jī)數(shù)并用Master的公鑰對(duì)隨機(jī)數(shù)進(jìn)行加密，并發(fā)送給Master。Master收到加密數(shù)之后再用私鑰解密，并將解密數(shù)回傳給Slave，Slave確認(rèn)解密數(shù)無(wú)誤之后就允許Master進(jìn)行連接了。這就是一個(gè)公鑰認(rèn)證過(guò)程，其間不需要用戶(hù)手工輸入密碼。重要過(guò)程是將客戶(hù)端Master復(fù)制到Slave上。
4、配置過(guò)程
我們這里有三臺(tái)機(jī)器，分別是：
hostname ipaddress subnet mask geteway
1、 master 192.168.146.200 255.255.255.0 192.168.146.2
2、 slave1 192.168.146.201 255.255.255.0 192.168.146.2
3、 slave2 192.168.146.202 255.255.255.0 192.168.146.2
那么我們想要的結(jié)果是在 master 機(jī)器上能不輸入密碼直接登錄到 slave1 和 slave2 機(jī)器上。反之在 slave1 上能不輸入密碼登錄到 master 和 slave2 機(jī)器上。
首先我們配置從 master 機(jī)器上不輸入密碼登錄到 slave1 機(jī)器上。
注意：這幾臺(tái)機(jī)器我們都以 hadoop 用戶(hù)登錄進(jìn)去。
第一步：確認(rèn)系統(tǒng)已經(jīng)安裝了 SSH
我們需要兩個(gè)服務(wù)，ssh和rsync。可以通過(guò)下面命令查看結(jié)果顯示如下：
- rpm –qa | grep openssh
- rpm –qa | grep rsync
出現(xiàn)如下信息，則已經(jīng)安裝了SSH
如果沒(méi)有安裝 ssh 和 rsync,則通過(guò)下面的命令安裝
- yum install ssh 安裝SSH協(xié)議
- yum install rsync （rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可通過(guò)LAN/WAN快速同步多臺(tái)主機(jī)間的文件）
- service sshd restart 啟動(dòng)服務(wù)
要確保所有的機(jī)器都安裝 SSH
第二步：master 機(jī)器上生成 秘鑰對(duì)
在 master 機(jī)器上輸入一下命令：
- ssh-keygen –t rsa –P ''
這條命令是生成無(wú)密碼秘鑰對(duì)，rsa 是加密算法，-P '' 表示密碼為空。詢(xún)問(wèn)其保存路徑時(shí)直接回車(chē)采用默認(rèn)路徑。生成的密鑰對(duì)：id_rsa和id_rsa.pub，默認(rèn)存儲(chǔ)在"/home/hadoop/.ssh"目錄下。
查看"/home/hadoop/"下是否有".ssh"文件夾，且".ssh"文件下是否有兩個(gè)剛生產(chǎn)的無(wú)密碼密鑰對(duì)。
第三步：把公鑰 id_rsa.pub追加到授權(quán)的key里面去。
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
第四步：修改文件"authorized_keys"權(quán)限
權(quán)限的設(shè)置非常重要，因?yàn)椴话踩脑O(shè)置安全設(shè)置，會(huì)讓你不能使用RSA功能，即在進(jìn)行登錄時(shí)仍然要求你輸入密碼。
- chmod 600 ~/.ssh/authorized_keys
第五步：用root用戶(hù)登錄服務(wù)器修改SSH配置文件
注意這里要用 root 用戶(hù)登錄，不然沒(méi)有權(quán)限修改。
- vi /etc/ssh/sshd_config
把文件中的下面幾條信息的注釋去掉：
RSAAuthentication yes # 啟用 RSA 認(rèn)證
PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑(和上面生成的文件同)
第六步：重啟服務(wù)
- service sshd restart
第七步：把公鑰復(fù)制所有的 slave 機(jī)器上
- scp ~/.ssh/id_rsa.pub 遠(yuǎn)程用戶(hù)名@遠(yuǎn)程服務(wù)器IP:~/
這里我們先復(fù)制到 slave1 機(jī)器上，IP 為 192.168.146.201
由上圖可知，我們將文件 in_rsa.pub 文件傳過(guò)去了，位置是 /home/hadoop。我們登錄到 slave1 機(jī)器上查看這個(gè)文件
第八步：如果是第一次使用該命令，則需要在"/home/hadoop/"下創(chuàng)建".ssh"文件夾，并且修改該文件夾權(quán)限為 “700”
如果不進(jìn)行，即使你按照前面的操作設(shè)置了"authorized_keys"權(quán)限，并配置了"/etc/ssh/sshd_config"，還重啟了sshd服務(wù)，在master能用"ssh localhost"進(jìn)行無(wú)密碼登錄，但是對(duì)slave1進(jìn)行登錄仍然需要輸入密碼，就是因?yàn)?quot;.ssh"文件夾的權(quán)限設(shè)置不對(duì)。這個(gè)文件夾".ssh"在配置SSH無(wú)密碼登錄時(shí)系統(tǒng)自動(dòng)生成時(shí)，權(quán)限自動(dòng)為"700"，如果是自己手動(dòng)創(chuàng)建，它的組權(quán)限和其他權(quán)限都有，這樣就會(huì)導(dǎo)致RSA無(wú)密碼遠(yuǎn)程登錄失敗。
- mkdir ~/.ssh //創(chuàng)建 .ssh 的文件夾
- chmod 700 ~/.ssh //給 .ssh 文件夾權(quán)限
第九步：將 master 的公鑰追加到 slave1 的授權(quán)文件 “authorized_keys” 中，并修改 該授權(quán)文件的權(quán)限,最后刪除該公鑰(保險(xiǎn)起見(jiàn))
- cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
- chmod 600 ~/.ssh/authorized_keys<br>rm -rf ~/id_rsa.pub
第十步：在 slave1 機(jī)器上重復(fù) 第 五 、六 步操作。
- vi /etc/ssh/sshd_config
- service sshd restart
第十一步：驗(yàn)證，我們?cè)?master 機(jī)器上使用 SSH 無(wú)密碼登錄 slave1 機(jī)器
- ssh 遠(yuǎn)程服務(wù)器IP
注意看我們兩個(gè)箭頭，說(shuō)明已經(jīng)無(wú)密碼登錄到 slave1 機(jī)器上了。那么這樣就算大功告成。
因此剩下的我們就是重復(fù)的操作，將 master 的公鑰發(fā)送給 slave2,等等。
如果我們想直接 ssh 主機(jī)名 登錄，那么我們需要配置主機(jī)和 ip 地址的映射關(guān)系。
- vi /etc/hosts
注意：我們可以使用命令
- ssh-copy-id -i ~/.ssh/id_rsa.pub 用戶(hù)名@對(duì)方機(jī)器IP (注意不要忘記了參數(shù)-i)
那么這條命令的意思是：
- a) 先scp 將本機(jī)的id_rsa.pub復(fù)制到對(duì)方機(jī)器的.ssh目錄下
- b) 在對(duì)方機(jī)器上執(zhí)行 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 導(dǎo)入公鑰
這樣寫(xiě)我們可以省略很多步驟。
注意：如果第一次使用該命令時(shí)，我們要先在 機(jī)器上創(chuàng)建 .ssh 的文件夾，并且賦予 700 的權(quán)限。
設(shè)置用 SSH 別名 登錄
用 hadoop 用戶(hù)登錄系統(tǒng)，在 /.ssh 目錄下新建一個(gè) config 文件(如果沒(méi)有就新建)
在其中增加：
保存后退出，然后 設(shè)置 config 權(quán)限為 600
完成后即可用 ssh host 來(lái)登錄主機(jī)，而不需要輸入IP地址
