成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

經驗總結 遷移Hadoop0.20.2問題詳解

開發 架構 Hadoop
Hadoop你是否熟悉,那么Hadoop0.20.2呢,這里向大家介紹一下遷移到Hadoop0.20.2后的一些感想,歡迎大家一起來學習Hadoop0.20.2方面的知識。

本節向大家介紹一下有關Hadoop0.20.2方面的知識,遷移到Hadoop0.20.2后的一些感想,相信通過本節的介紹大家對Hadoop0.20.2有更深刻的認識,讓我們一起來關注Hadoop0.20.2吧。
------------------------------------------------

1.問題:
離Hadoop0.20.2的發布也有三個月了,平時一直在用http://www.cloudera.com/提供的一個Hadoop版本,它也是基于Hadoop0.18.3開發的,因為它的一個比較穩定的版本。但是最近在用hypertable0.9.2.7的時候發現我本地jni調用老是會出現HyperspaceCOMMalreadycommected,查了一下原因,是hyperspace的COMM被占用,連接出錯,網上找了一下,作者也說有這個問題,還說什么修改一下也不是很難。看了一下它的源代碼,是socket連接拋出來的,要改的話要修改hyperspace模塊的代碼,由于hyperspace底層是用oracle的berkeleydb的,對它也不是很熟悉,所以沒去改了,想直接升級到0.9.3.1,看它有沒有解決這個問題,但是讓我失望的是它還是沒有解決這個問題,到是在它的thrift端做了很多改動,而且把對hypertable表的TableSplit也加入了它的thrift服務端中,也正是我想要的,呵呵,這樣也可以繞過前面的hyperspace的問題,因為它在thrift的服務端只生成了一個HypertableClient,這樣就不會出現COMMconnected的問題了,而且對它的Cell也做了比較大的改動,用了***的Hadoop0.20.2。沒辦法,要升就一起升吧,Hadoop0.18.3->Hadoop0.20.2;hypertable0.9.2.7->hypertable0.9.3.1,原來的TableInputFomat和TableOutputFormat看來都要做修改了,于是就有了下面的這些感想。

2.Hadoop0.20.2的一些變化
新的版本不管從目錄結構和API上都有了比較大的變化,不管從0.18到0.19,還是從0.19到0.20目錄結構都發生了很大的變化,***感覺就是模塊化的意識越來越強了,而且看起來也更清晰了。

2.1目錄結構的變化
主要有三個目錄,core,hdfs,mapred。
◆主要是把原來共用的功能都提取到了core中,其中有conf,fs,io,ipc,net,record等。還加入了類似于unix目錄的權限功能。
◆把hdfs單獨放入了一個目錄中,而且把hdfs的配置文件也提取了出來,叫hdfs-default.xml,其中hdfs目錄又分了protocol,提供了一些Client端的通訊協議,還有server和tools目錄,其中server目錄又分成了balancer,common,datanode,namenode,protocol,這里的protocol目錄中提供了DataNode和NameNode的通訊協議,還有DataNode之間的通訊協議等。
◆把mapred也獨立出來,而且也把mapred的配置文件也提取出來,放入了mapred-default.xml中,它也有兩個子目錄,一個是mapred,其中放了一些mapreduce的核心類,還有一些Deprecated的類,用于向后兼容,不過一般都不提倡用這些接口和類了。另一個目錄是mapreduce目錄,這里有一些對外的抽象類和接口,用于進行根據自己的需要進行擴展,在這個目錄中有一個叫lib的目錄,它提供了一些框架提供的常用的input,output,map,reduce方法。

2.2API的變化
在Hadoop0.20.2中,API的變化也是很大的,主要把一些接口變成了抽象類,以此在提高可擴展性,進行了一些重構,變化還是滿大的。下面舉一個例子來說明這里的變化。
2.2.1Hadoop的一個example
這是Hadoop中的一個WordCount的例子,從中你可以發現Map和Reduce的接口變化,還有JobClient的變化。

3.Hypertable0.9.3.1的一些變化
主要感覺它的thrift的java客戶端變化很大。為了支持mapreduce,很多東西都集成到了thrift服務端。加入了MapReduceconnector,Hyperspace的replication,還有DUMPTABLE等。在它的thrift的客戶端中加入了InputFormat和OutputFormat,還有TableSplit,可以用來對Hypertable中的表進行Key和Value對的讀取,還是很方便的。但是它沒有對TableSplit后的range_location進行處理,只是用了“localhost“來進行Host的連接,不知道是為什么?
看來要在Hypertable中使用kfs還是要進行源代碼的編譯還有kfs的動態庫。本節關于Hadoop0.20.2的相關內容介紹到這里。

【編輯推薦】

  1. 專家推薦 Hadoop0.20.2集群配置指導手冊
  2. Hadoop0.20.2集群配置入門指導手冊
  3. Hadoop文件系統如何快速安裝?
  4. Hadoop集群搭建過程中相關環境配置詳解
  5. Hadoop完全分布模式安裝實現詳解

 

 

責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-04 17:21:48

2010-06-04 17:34:13

Hadoop0.20.

2010-06-02 09:06:26

SVN學習

2010-05-19 17:24:55

MySQL編碼

2009-10-15 09:27:00

2010-03-18 17:24:51

云計算

2009-09-16 17:13:54

學習Linq

2009-08-19 09:24:43

AJAX引擎經驗總結

2009-09-29 16:32:11

OJB Hiberna

2019-05-07 11:24:07

ReactJavascriptTypescript

2018-06-07 09:29:34

數據庫MySQL慢SQL

2018-12-04 09:07:36

運維問題排查

2010-06-04 10:18:43

Hadoop配置

2009-11-17 11:24:00

PHP應用技巧

2009-08-20 17:35:47

Servlet和JSP

2009-09-11 13:29:31

LINQ查詢操作

2009-09-16 17:44:54

LINQ to SQL

2009-10-22 15:07:12

綜合布線工程

2011-07-08 13:15:52

JSP

2010-06-12 17:37:18

UML實踐指南
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧洲精品在线观看 | 精品国产一区二区三区性色av | 97超碰成人 | 国产精品精品 | 成人免费视频网站在线看 | 免费观看一级特黄欧美大片 | 在线观看视频一区 | 国产一区二区精品在线 | www日本在线播放 | 亚洲一区免费 | 一个色在线 | 久久一区视频 | 成人欧美一区二区三区 | 午夜电影日韩 | 欧美性tv | 国产免费一区二区三区免费视频 | www..99re| 精品国产免费一区二区三区演员表 | 精品电影 | 中文字幕乱码一区二区三区 | 国产激情一区二区三区 | 国产精品99久久久久久动医院 | 亚洲国产乱码 | 高清一区二区三区 | 99pao成人国产永久免费视频 | 国产福利在线 | 亚洲巨乳自拍在线视频 | 欧美国产免费 | 成人av网站在线观看 | 国产欧美一区二区精品忘忧草 | 亚洲三级av | 天堂久久网 | 天天天操操操 | 一区二区三区四区毛片 | 理论片午午伦夜理片影院 | 午夜网站视频 | 五月精品视频 | 99re在线| 岛国av一区二区三区 | 国产精品99久久久久久www | 自拍偷拍一区二区三区 |