成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

分散處理 Hadoop架構服務器角色

運維 服務器運維 大數據 Hadoop
在Hadoop運算集群架構中,先分解任務,分工處理再匯總結果這些服務器依據用途可分成Master節點和Worker節點,Master負責分配任務,而Worker負責執行任務,如負責分派任務的操作,角色就像是Master節點。

在Hadoop運算集群架構中,先分解任務,分工處理再匯總結果這些服務器依據用途可分成Master節點和Worker節點,Master負責分配任務,而Worker負責執行任務,如負責分派任務的操作,角色就像是Master節點。

Hadoop架構服務器角色分工

Hadoop運算集群中的服務器依用途分成Master節點和Worker節點。Master節點中安裝了JobTracker、NameNode、TaskTracker和DataNode程序,但Worker節點只安裝TaskTracker和DataNode。

 

另外在系統的運行架構上,最簡單的Hadoop架構,可以分成上層的MapReduce運算層以及下層的HDFS數據層。

在Master節點的服務器中會執行兩套程序,一個是負責安排MapReduce運算層任務的JobTracker,以及負責管理HDFS數據層的NameNode程序。而在Worker節點的服務器中也有兩套程序,接受JobTracker指揮,負責執行運算層任務的是TaskTracker程序,而與NameNode對應的則是DataNode程序,負責執行數據讀寫動作,以及執行NameNode的副本策略。

在MapReduce運算層上,擔任Master節點的服務器負責分配運算任務, Master節點上的JobTracker程序會將 Map和Reduce程序的執行工作,指派給Worker服務器上的TaskTracker程序,由TaskTracker負責執行Map和Reduce工作,并將運算結果回復給Master節點上的JobTracker。

在HDFS數據層上,NameNode負責管理和維護HDFS的名稱空間、并且控制文件的任何讀寫操作,同時NameNode會將要處理的數據切割成一個個文件區塊(Block),每個區塊是64MB,例如1GB的數據就會切割成16個文件區塊。NameNode還會決定每一份文件區塊要建立幾個副本,一般來說,一個文件區塊總共會復制成3份,并且會分散儲存到3個不同Worker服務器的DataNode程序中管理,只要其中任何一份文件區塊遺失或損壞,NameNode會自動尋找位于其他DataNode上的副本來回復,維持3份的副本策略。

在一套Hadoop集群中,分配MapReduce任務的JobTracker只有1個,而TaskTracker可以有很多個。同樣地,負責管理HDFS文件系統的NameNode也只有一個,和JobTracker同樣位于Master節點中,而DataNode可以有很多個。

不過,Master節點中除了有JobTracker和NameNode以外,也會有TaskTracker和DataNode程序,也就是說Master節點的服務器,也可以在本地端扮演Worker角色的工作。

在部署上,因為Hadoop采用Java開發,所以Master服務器除了安裝操作系統如Linux之外,還要安裝Java運行環境,然后再安裝Master需要的程序,包括了NameNode、JobTracker和DataNode與TaskTracker。而在Worker服務器上,則只需安裝Linux、Java環境、DataNode和TaskTracker。

責任編輯:張玉 來源: eNet硅谷動力
相關推薦

2021-05-12 23:07:16

服務器處理連接

2010-10-20 15:53:37

SQL Server服

2017-10-17 10:12:58

2020-06-22 08:10:27

服務器NUMAMPP

2011-06-30 09:22:32

服務器ARM架構x86架構

2018-05-18 09:43:37

服務器架構大型網站

2014-05-07 14:17:57

服務器服務器處理器ARM架構

2010-09-27 14:09:17

SQL Server服

2010-12-27 14:08:12

2011-07-26 10:27:07

分析器操作系統服務器

2012-05-14 11:52:45

服務器角色

2009-01-09 22:45:21

2022-04-28 11:19:13

WebRTC服務器架構

2019-01-10 11:12:15

Nginx服務器架構

2019-12-24 14:42:51

Nginx服務器架構

2020-05-12 21:17:18

Nginx服務器架構

2019-09-10 15:22:17

Nginx服務器架構

2024-01-19 11:57:42

2018-01-23 10:23:53

2010-08-31 22:27:11

DHCP服務器
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产成人av一区二区三区 | 欧美成人精品一区二区三区 | 男人的天堂久久 | 欧美精品一区在线发布 | 精品国产乱码久久久久久蜜柚 | 午夜影院| 欧美视频精品 | 精品九九| 欧美久久国产 | 中文字幕99 | 欧美天堂 | 1204国产成人精品视频 | 国产aⅴ爽av久久久久久久 | 性做久久久久久免费观看欧美 | 久久99久久 | 99欧美精品 | 最新超碰| 成人在线视频一区二区三区 | 国产目拍亚洲精品99久久精品 | 国产极品车模吞精高潮呻吟 | 亚洲九九 | 韩国电影久久 | 日韩中文一区二区三区 | 91综合网 | 成人欧美一区二区三区在线播放 | 在线观看视频91 | 亚洲成人av一区二区 | 日本高清中文字幕 | 日韩精品四区 | 蜜桃在线一区二区三区 | 久久伊人影院 | 尹人av| 不卡一区二区三区四区 | 81精品国产乱码久久久久久 | 亚洲综合在线一区 | 天堂综合 | 好姑娘高清在线观看电影 | 国产精品久久久久久久久久久久冷 | 黄色网址在线免费观看 | 青青草亚洲 | 91视频三区 |