1、分布式環(huán)境搭建

采用4臺(tái)安裝Linux環(huán)境的機(jī)器來(lái)構(gòu)建一個(gè)小規(guī)模的分布式集群。

圖1 集群的架構(gòu)

　　其中有一臺(tái)機(jī)器是Master節(jié)點(diǎn)，即名稱節(jié)點(diǎn)，另外三臺(tái)是Slaver節(jié)點(diǎn)，即數(shù)據(jù)節(jié)點(diǎn)。這四臺(tái)機(jī)器彼此間通過(guò)路由器相連，從而實(shí)驗(yàn)相互通信以及數(shù)據(jù)傳輸。它們都可以通過(guò)路由器訪問Internet，實(shí)驗(yàn)網(wǎng)頁(yè)文檔的采集。

2、集群機(jī)器詳細(xì)信息

2.1 Master服務(wù)器

2.2 Slave1服務(wù)器

2.4 Slave3服務(wù)器

 　備注：

　　添加新用戶命令：useradd；修改新用戶密碼：passwd 用戶名

　　退出當(dāng)前用戶：exit； 登錄root用戶：su –

3、集群機(jī)器實(shí)際布局

　　下面是幾張Hadoop集群實(shí)際機(jī)器的部署情況，可以從圖中看到那時(shí)的我們?cè)趺磳?shí)際配置Hadoop集群的。

3.1 Hadoop工作集群

　　該Hadoop集群機(jī)器是學(xué)習(xí)和研究之用，上面運(yùn)行著已經(jīng)搭建好的的Hadoop平臺(tái)以及運(yùn)行著一些實(shí)際程序。

圖3.1-1 Hadoop工作集群部署圖（1）

圖3.1-2 Hadoop工作集群部署圖（2）

　　上面從兩個(gè)角度來(lái)分別觀察Hadoop集群部署，作為Hadoop集群的Master節(jié)點(diǎn)，用的是機(jī)器較為不錯(cuò)的新Dell，而三臺(tái)Slave機(jī)器則是實(shí)驗(yàn)室淘汰的舊Lenovo，用一個(gè)小路由器他們組成了一個(gè)局域網(wǎng)。

圖3.1-3 路由器特寫

3.2 Hadoop實(shí)驗(yàn)集群

　　為了方便新成員練習(xí)Hadoop技術(shù)，又防止在實(shí)際Hadoop集群上破壞已運(yùn)行的程序，故另外弄了兩臺(tái)舊Lenovo電腦組成：一個(gè)"主——TMaster"；一個(gè)"輔——TSlave"。

圖3.2-1 Hadoop實(shí)驗(yàn)集群部署

　　上面就是實(shí)驗(yàn)室Hadoop集群的樣子，雖然很簡(jiǎn)陋，但足夠?qū)W習(xí)用了。

原文鏈接：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html

【編輯推薦】

1. Hadoop集群系列1:CentOS安裝配置
2. 實(shí)現(xiàn)Hadoop集群性能優(yōu)化，Hadoop機(jī)架感知如何配置？
3. 專家指導(dǎo) 如何實(shí)現(xiàn)Hadoop集群搭建
4. Hadoop文件系統(tǒng)如何快速安裝？
5. Hadoop集群搭建過(guò)程中相關(guān)環(huán)境配置詳解
6. Hadoop完全分布模式安裝實(shí)現(xiàn)詳解