成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

淘寶分布式文件系統TFS安裝配置手冊:內部實現

運維 系統運維 分布式
TFS與目前一些主流的開源分布式文件系統設計思想是相似的,如HDFS, MFS, KFS, Sector。TFS的高可擴展、高可用性是很好的,本文帶你了解淘寶分布式文件系統TFS的內部實現過程,一起來看看。

TFS文件名的結構

TFS的文件名由塊號和文件號通過某種對應關系組成,***長度為18字節。文件名固定以T開始,第二字節為該集群的編號(可以在配置項中指定,取值范圍 1~9)。余下的字節由Block ID和File ID通過一定的編碼方式得到。文件名由客戶端程序進行編碼和解碼,它映射方式如下圖:

TFS客戶程序在讀文件的時候通過將文件名轉換為BlockID和FileID信息,然后可以在!NameServer取得該塊所在!DataServer信息(如果客戶端有該Block與!DataServere的緩存,則直接從緩存中?。缓笈c!DataServer進行讀取操作。

TFS寫操作數據流

TFS系統中,nameserver會保證一個文件有多個副本存儲于不同的dataserver上以保證冗余。當由于dataserver服務器宕機或由于其他原因退出系統導致某些文件副本數量下降時,nameserver將會調度新的dataserver節點存儲文件備份。同樣為了保證數據一致性,當寫入一個文件時,只有所有參與的dataserver均寫入成功時,該操作才算成功。TFS的寫操作數據流圖如下所示:

客戶端首先向nameserver發起寫請求,nameserver需要根據dataserver上的可寫塊,容量和負載加權平均來選擇一個可寫的block。并且在該block所在的多個dataserver中選擇一個作為寫入的master,這個選擇過程也需要根據dataserver的負載以及當前作為master的次數來計算,使得每個dataserver作為master的機會均等。master一段選定,除非master宕機,不會更換,一旦master宕機,需要在剩余的dataserver中選擇新的master。返回一個dataserver列表。 客戶端向master dataserver開始數據寫入操作。master server將數據傳輸為其他的dataserver節點,只有當所有dataserver節點寫入均成功時,master server才會向nameserver和客戶端返回操作成功的信息。

獲得Block ID和File ID

根據TFS文件名解析出Block ID和block中的File ID。

獲取dataserver地址

向nameserver發送查詢請求得到Block ID所在的dataserver地址。

由于nameserver中維護了block和dataserver的對應關系,所以nameserver能夠提供相應的信息。

Note: 由于TFS是把大量小文件放在一個block里面,

所以TFS的文件復制是基于block的,而且復制出來的block的block id應該是一致的

請求文件

通過發送Block_ID、File_ID和offset為參數的讀請求到對應的dataserver,得到文件內容。

dataserver會根據本地記錄的信息來得到File ID所在block的偏移量,從而讀取到正確的文件內容.

TFS 在2.0版本增加了一個server, 叫做 rcserver. 這個 server 主要是為了淘寶內部管理使用 TFS 的各個應用. 我們給每個應用分配一個唯一的 AppKey. TFS 客戶端使用這個 AppKey 登錄到 rcserver, 取得自己應該訪問的 TFS 集群信息. 客戶端還會定期把自己的一些統計值發送給 rcserver. 具體信息可以參看源碼中 doc 目錄下的關于 rcserve 的文檔。

責任編輯:黃丹 來源: sina博客
相關推薦

2014-01-10 10:39:35

分布式文件系統TFS

2014-01-14 15:56:54

分布式文件系統TFS淘寶

2014-01-15 13:56:28

分布式文件系統TFS淘寶

2014-01-15 14:00:33

分布式文件系統TFS淘寶

2010-11-01 05:50:46

分布式文件系統

2012-10-11 14:03:56

FastDFS分布式文件系統

2014-06-24 15:24:52

Moosefs分布式集群

2014-01-16 09:42:19

TFS分布式文件系統

2017-10-17 08:33:31

存儲系統分布式

2012-08-31 16:04:11

HDFS分布式文件系統

2013-06-18 14:00:59

HDFS分布式文件系統

2010-11-15 13:24:07

分布式文件系統

2013-01-07 10:29:31

大數據

2010-06-04 18:45:43

Hadoop分布式文件

2012-09-19 15:05:24

MogileFS分布式文件系統

2012-09-19 13:43:13

OpenAFS分布式文件系統

2013-05-27 14:46:06

文件系統分布式文件系統

2012-10-09 16:43:47

FastDFS分布式文件系統

2011-03-16 14:23:38

分布式文件

2012-05-10 15:23:53

分布式文件系統測試
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 男女污网站 | 欧美在线a | 一级黄色片在线免费观看 | 国产一区二区在线91 | 欧美一级欧美一级在线播放 | 91精品久久久 | 视频在线一区二区 | 天天躁人人躁人人躁狂躁 | 一区二区免费高清视频 | 手机在线观看av | 欧美二三区 | 欧美日韩国产精品一区 | 国产香蕉视频在线播放 | 成人在线观看免费观看 | 国产精品99免费视频 | 97国产精品视频人人做人人爱 | 一级片片 | 国产一二三视频在线观看 | 成人婷婷 | 精品国产一区二区三区在线观看 | 91精品国产91久久久久久最新 | 毛片免费观看视频 | 午夜99 | 在线观看中文字幕亚洲 | 亚洲欧洲一区 | 国产激情视频在线观看 | 欧美精品久久久久久久久久 | 亚洲a在线观看 | 日韩在线视频精品 | 日韩精品视频中文字幕 | 成人二区 | 国产综合久久 | 日本精品一区二区三区视频 | 一区二区手机在线 | 久久久久国产 | 中文字幕欧美日韩 | 日韩欧美一区二区三区四区 | 精品国产欧美一区二区三区成人 | 91精品国产高清久久久久久久久 | 精品国产一区二区三区在线观看 | 国产日韩一区二区三区 |