成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop-0.20.0源代碼中關鍵的類

開發 架構 Hadoop
Hadoop相信大家應該有所了解,這里向大家介紹一下Hadoop-0.20.0源代碼方面的內容,希望通過本文的介紹大家對Hadoop-0.20.0源代碼有一定的認識,歡迎大家一起來學習。

本節和大家一起學習一下有關Hadoop-0.20.0源代碼方面的內容,主要介紹幾個Hadoop中常用的類,相信通過本節的學習大家對Hadoop-0.20.0源代碼有一定的了解,讓我們一起來學習吧。

Hadoop-0.20.0源代碼分析

Hadoop框架是兩個模型實現的有機整合,亦即Hadoop分布式文件系統(HDFS)與MapReduce并行編程模型,也就是說,Hadoop框架要能夠提供的基本功能就是,在存儲系統HDFS上進行MapReduce并行計算,所以,如果想要了解Hadoop框架的工作原理和運行機制,主要從這兩個方面著手。
其實,Hadoop中MapReduce并行計算應該是在HDFS實現的,因此了解計算所基于HDFS應該是入口點,當對HDFS有了一定的了解,就能夠知道這樣一個并行計算平臺能夠提供哪些進行計算的基礎要素。
當然,在了解HDFS之前,應該先熟悉一下Hadoop對文件系統FS是如何實現的,都提供了哪些操作。在org.apache.hadoop.fs包中,提供了文件系統的高層抽象(FileSystem類),基于該抽象的文件系統,可以來實現滿足實際需要的文件系統實現類,例如用來在本地存儲原生文件的文件系統(RawLocalFileSystem),例如一個文件系統之上可以存在其它一些類型的文件系統(基于校驗和的文件系統ChecksumFileSystem類就是這樣的,ChecksumFileSystemextendsFilterFileSystem,FilterFileSystem是一個最基本的文件系統實現)。

我在閱讀源代碼的過程中,首先從與org.apache.hadoop.fs包中文件系統相關的其它包org.apache.hadoop.security開始。
org.apache.hadoop.security包中的一些類涉及到文件系統中用戶的信息,例如用戶權限等等。所以,為了能夠深入了解文件系統和方便閱讀源代碼,就應該了解與文件系統相關的安全支持,實際上也就是位于Hadoop源代碼中org.apache.hadoop.security包中實現。
下面分別對其中關鍵類的源代碼進行閱讀分析:

Group類與User類

首先,org.apache.hadoop.security.Group類與org.apache.hadoop.security.User類都是一個實體類,表征一個屬于HDFS文件系統中存在的一類實體,它們的定義非常相似,下面只拿出Group類來說明。
Group類表示一個組的概念實現,它實現了java.security.Principal接口,也就是說Group類表示一個用來容納一些對象的實體,比如一個組中可以包含多個不同的用戶,一個組中可以包含多種不同的權限,一個組中還可以包含多種授權的證書,等等。這個類比較容易,包含一個final修飾的組名稱的字段,也就是說一個組一旦創建就不能修改組名稱,Group類沒有提供修改組名稱的方法。新創建一個組的時候,需要指定組名稱。該類中比較重要的是equals方法,用來比較某個Object對象(組對象)是夠與該組(this)相互匹配。

UserGroupInformation抽象類

再來看一下Hadoop-0.20.0源代碼中UserGroupInformation抽象類Hadoop框架中,分布式文件系統框架HDFS具有一個用來存儲用戶和組信息的實現,它是通過一個位于org.apache.hadoop.security包中的UserGroupInformation抽象類來抽象這些信息的,如果對于特定的基于用戶和組的操作系統,都可以繼承自該抽象類,用來實現表示用戶與組的一些信息的實體,及其一些簡單的操作。

UserGroupInformation類實現了org.apache.hadoop.io.Writable接口,該接口是Hadoop框架基于DataInput和DataOutput定義的一個序列化協議,實現該接口的類支持序列化操作。
總結一下,UserGroupInformation抽象類主要定義的操作如下:

1、獲取當前用戶線程的用和組信息(UGI),通過getCurrentUGI()方法實現的;

2、獲取用戶名和組名,分別通過抽象方法getUserName()和getGroupNames()方法實現的;

3、根據Hadoop的配置類Configuration實例,登錄系統后返回一個UserGroupInformation類的實例,通過方法login(Configurationconf)實現的;

4、讀取Hadoop的配置類Configuration實例,返回一個UserGroupInformation類的實例,通過方法readFrom(Configurationconf)實現的。本節關于Hadoop-0.20.0源代碼方面的知識介紹到這里。

【編輯推薦】

  1. Hadoop分布式文件系統詳解
  2. Hadoop0.20.2集群配置入門指導手冊
  3. Hadoop文件系統如何快速安裝?
  4. Hadoop集群搭建過程中相關環境配置詳解
  5. Hadoop完全分布模式安裝實現詳解

 

責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-07 11:30:24

Hadoop源代碼

2009-06-12 19:03:41

Hadoop源代碼Yahoo

2010-06-07 16:34:07

Hadoop0.20.

2009-03-10 08:59:18

2015-03-24 15:08:21

mapreducehadoop

2010-06-07 16:45:49

Hadoop0.20.

2009-07-17 16:49:18

lookandfeelSwing

2009-04-03 08:28:39

2010-03-17 17:11:04

Java線程通信

2010-06-10 10:22:56

Chrome 源代碼擴展同步

2012-03-28 14:50:40

2010-03-16 14:48:02

云計算

2013-12-18 16:18:23

CentOShttpd源代碼

2016-10-11 16:28:11

源代碼

2010-04-29 12:57:33

Unix源代碼

2010-08-03 10:16:52

Flex源代碼

2024-04-08 11:35:34

C++static關鍵字

2020-11-13 13:05:27

Java開發代碼

2010-03-29 16:48:18

Nginx內核優化

2013-10-31 14:15:10

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 免费在线观看av | 欧美日韩一区二区三区四区五区 | 亚洲国产网| 国产色爽 | 亚洲福利视频一区二区 | 国产一级免费视频 | 久久高潮 | www久久久| 亚洲欧洲中文日韩 | 国产一区二区三区免费 | 国产亚洲精品久久午夜玫瑰园 | 国产欧美精品一区二区 | 日韩久久中文字幕 | 久久高清 | 国产精品久久久久久妇女6080 | 亚洲每日更新 | 亚洲 中文 欧美 日韩 在线观看 | 午夜影院视频 | 国产精品99 | 成人久久久| 日韩av电影在线观看 | 国产一区二区三区在线 | 欧美一级黄带 | 午夜精品一区二区三区在线 | 91在线最新 | 天堂资源最新在线 | 欧美精品一区二区在线观看 | 华丽的挑战在线观看 | 日韩1区 | 久久之精品 | 中文字幕亚洲区一区二 | 黄色大片在线 | 狠狠婷婷综合久久久久久妖精 | 日韩精品一区二区三区中文字幕 | 国产成人精品一区二区在线 | 精品粉嫩aⅴ一区二区三区四区 | 成人一级片在线观看 | 国产精品99久久久久久动医院 | 日韩看片| 成人精品久久久 | 亚洲国产在 |