成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

淘寶分布式文件系統TFS安裝配置手冊:NameServer配置

運維 系統運維 分布式
前兩篇文章中,分別介紹了淘寶分布式文件系統TFS(Taobao File System)系統安裝方法和DataServer配置技巧,本文將給大家分享NameServer配置相關步驟,希望給您帶來一些幫助。

ns.conf 中注意修改的項目


public->log_level=debug #日志文件的級別 public->port = 8108  #nameserver監聽端口 public->work_dir=/usr/local/tfs  #工作目錄,也就是tfs的安裝目錄 public->dev_name= eth0  #網絡設備,即通信網卡,一般用內網 public->ip_addr = 192.168.119.145 #本機IP地址(vip),配置ha時為vip,沒配置可以為主ns的ip

nameserver->ip_addr_list = 192.168.119.145|192.168.119.147  #nameserver IP地址列表(master, salve的ip地址,只能以’|'分隔) nameserver->block_max_size = 67108864  #Block size的***值, 單位(字節),必須 >= dataserver的mainblock_size,推薦設置一致。

nameserver->max_replication = 3  #Block ***備份數, default: 2,單臺dataserver時,需要配置為1 nameserver->min_replication = 3  #Block 最小備份數, default: 2,#單臺dataserver時,需要配置為1 nameserver->cluster_id = 1  # 集群號

ns.conf 內容 (其中有中文,要保存為UTF-8,不帶標簽)


[public] #log file size default 1GB #日志文件的size,默認 1GB log_size=1073741824

#保留日志文件的個數,默認 64 log_num = 64

#log file level default debug #日志文件的級別, default info,線上使用建議設為info,調試設為debug #dubug級日志量會很大 log_level=debug

#main queue size default 10240 #工作隊列size,  默認  10240 task_max_queue_size = 10240

#listen port #nameserver監聽端口 port = 8108

#work directoy #工作目錄,也就是tfs的安裝目錄 work_dir=/usr/local/tfs

#device name #網絡設備,即通信網卡,一般用內網 dev_name= eth0

#work thread count default 4 #工作線程池 default  4 thread_count = 4

#ip addr(vip) #本機IP地址(vip),配置ha時為vip,沒配置可以為主ns的ip ip_addr = 192.168.119.145

[nameserver]

#系統保護時間,單位(秒), default: 300 #保護時間內不進行任何操作,包括添加block等 safe_mode_time = 300

#nameserver IP地址列表(master, salve的ip地址,只能以’|'分隔) #單臺nameserver時,另一個ip配置為無效ip即可 ip_addr_list = 192.168.119.145|192.168.119.147

#Ip地址 mask #用于區分dataserver所在的子網,選擇不同子網的dataserver備份數據 group_mask = 255.255.255.255

#Block size的***值, 單位(字節) #必須 >= dataserver的mainblock_size,推薦設置一致。 block_max_size = 83886080

#Block ***備份數, default: 2,單臺dataserver時,需要配置為1 max_replication = 3

#Block 最小備份數, default: 2,#單臺dataserver時,需要配置為1 min_replication = 3

#DataServer 容量使用的百分比, default: 98 use_capacity_ratio = 98

#Block使用的百分比, default: 95 block_max_use_ratio = 98

#heart interval time(seconds) #Dataserver 與 nameserver 的心跳時間, 單位(秒), default: 2 heart_interval = 2

# object dead max time(seconds) default # object 死亡的***時間, 單位(秒), default: 86400 object_dead_max_time = 3600

# cluster id defalut 1 # 集群號 cluster_id = 1

# block lost, replicate ratio # Block當前備份數與***備份數百分比,如果大于這個百分比,就開始復制 replicate_ratio_ = 50

#每個DataServer 主可寫塊的大小, default: 3 max_write_filecount = 16

#dataserver 與 nameserver 的心跳線程池的大小, default: 2 heart_thread_count = 2

#dataserver 與 nameserver 的心跳工作隊列的大小, default: 10 heart_max_queue_size = 10

#replicate block wait time #block 缺失備份時, 需要等待多長時間才進行復制, 單位(秒), default: 240 repl_max_time = 60

#block進行壓縮的比例, block 刪除的文件的比例達到這個值時進行壓縮 compact_delete_ratio =  15

#block進行壓縮時, dataserver的***負載,超出這個值dataserver,不進行壓縮 compact_max_load = 200

# object 死亡的***時間, 單位(秒), default: 86400 object_dead_max_time = 86400

# object 清理的時間, 單位(秒), default: 300 object_clear_max_time = 300

#nameserver上出現租約等待時, 阻塞線程***個數, 這個值***是工作線程的一半 max_wait_write_lease = 15

#租約刪除的最長時間, 單位(小時), default: 1 lease_expired_time = 3

#***租約超時時間 max_lease_timeout = 3000

#清理租約的閥值, default: 102400 cleanup_lease_threshold = 102400

#創建計劃的間隔時間, 單位(秒), default: 30 build_plan_interval = 10

#計劃超時時間, 單位(秒), default: 120 run_plan_expire_interval = 120

#創建計劃的百分比, 計劃數量 = dataserver 數量 * build_plan_ratio build_plan_ratio = 25

#定時dump統計信息的間隔時間, 單位(微秒), default: 60000000 dump_stat_info_interval = 60000000

#創建計劃等待時間, 主要用有很多緊急復制時,單位(秒), default: 2 build_plan_default_wait_time = 2

#負載均衡時block相關的個數(這個參數有點問題, 以后會改成百分比), default: 5 balance_max_diff_block_num = 5

#每次新增Block的個數, default: 3 add_primary_block_count = 3

#存儲block桶的個數, default: 32 block_chunk_num = 32

#每個任務處理的預期時間, 單位(微秒), default: 200 task_percent_sec_size = 200

#每個任務隊列的***size task_max_queue_size = 10000

#同步日志緩沖區slot的大小, 超出這個值會寫入磁盤, default: 1 oplog_sync_max_slots_num = 1024

#同步日志線程池的大小, default: 1 oplog_sync_thread_num = 1

———-啟動nameserver————– 執行scripts目錄下的tfs /usr/local/tfs/scripts/tfs start_ns

查看監聽端口:netstat -ltnp

———-停止nameserver————–

/usr/local/tfs/scripts/tfs stop_ns

—————驗證—————–

[root@localhost scripts]# netstat -tnlppa |grep 147

——–列出dataserver的block塊———— 首先保證服務已經全部啟動! 確認防火墻沒有阻止到連接! 查看dataserver連接情況: 在nameserver端執行ssm命令查看檢查到的dataserver的一些基本情況。 /usr/local/tfs/bin/ssm -s 192.168.119.147:8108 (要使用主ns的IP與端口,請注意根據實際情況修改) server -b    \\隨即列出dataserver的block塊

server -w     \\隨機列出dataserver的可寫塊

圖:略。 machine -a   \\列出dataserver的使用報道。

這里需要注意如果用server -b 、-w后面的BLOCK數字,如果是0,說明沒有可寫塊。檢測ns  ads ds的配置文件,包括備份個數、主塊大小知否一致. 如果看到上面的信息,那基本沒問題了。

———–用tfstool上傳一張圖片————- “客戶端首先向nameserver發起寫請求,nameserver需要根據dataserver上的可寫塊,容量和負載加權平均來選擇一個可寫的 block。并且在該block所在的多個dataserver中選擇一個作為寫入的master,這個選擇過程也需要根據dataserver的負載以 及當前作為master的次數來計算,使得每個dataserver作為master的機會均等。master一經選定,除非master宕機,不會更 換,一旦master宕機,需要在剩余的dataserver中選擇新的master。返回一個dataserver列表。 客戶端向master dataserver開始數據寫入操作。master server將數據傳輸為其他的dataserver節點,只有當所有dataserver節點寫入均成功時,master server才會向nameserver和客戶端返回操作成功的信息。“

也就是說客戶端發起一個請求,nameserver先根據dataserver的 容量和負載 來選擇一個dataserver來做為所有dataserver的master(除非master宕機,不會更換,宕機則自動重新選擇)然后根據 ns.conf的配置的備份數全部寫入,才向nameserver和客戶端返回操作成功信息。

/usr/local/tfs/bin/tfstool -s 192.168.119.147:8108   (這是備ns,不是主,還未配置HA呢,使用它的上傳失敗了) /usr/local/tfs/bin/tfstool -s 192.168.119.145:8108   (這是主ns ,請注意根據實際情況修改)

這里我使用put上傳/opt/666.jpg這張圖。TFS目前限制了文件大小為2M,適合于一些小于2M數 據的存放。終端默認上傳命令put ,超過2M用putl,回車后會返回一大堆字符,注意看***一行是fail還是success,如果是fail,請檢測下配置文件、端口等。如果是 success則說明已經上傳上去。 

上傳666.jpg大小 是58407字節

可以看到 blockid=349,size=58407,ip=192.168.119.214:9998

查349這個塊的信息。

在ns、ds中隨便找一臺機器,執行:

/usr/local/tfs/bin/ds_client -d 192.168.119.214:9998

可以看到塊349中有一個文件,文件名是:T0oRJTByJT1RCvBVdK

—————–讀最文件————————

read_file_data 349 1 /opt/777/jpg

成功了,到 /opt/777/jpg,去看一看文件。

責任編輯:黃丹 來源: mysqlops
相關推薦

2014-01-14 15:56:54

分布式文件系統TFS淘寶

2014-01-10 10:39:35

分布式文件系統TFS

2014-01-15 16:49:48

分布式文件系統TFS淘寶

2014-01-15 14:00:33

分布式文件系統TFS淘寶

2012-10-11 14:03:56

FastDFS分布式文件系統

2014-06-24 15:24:52

Moosefs分布式集群

2010-11-01 05:50:46

分布式文件系統

2014-01-16 09:42:19

TFS分布式文件系統

2013-06-08 14:34:42

Hadoop 2.0

2017-10-17 08:33:31

存儲系統分布式

2012-08-31 16:04:11

HDFS分布式文件系統

2013-06-18 14:00:59

HDFS分布式文件系統

2010-11-15 13:24:07

分布式文件系統

2013-01-07 10:29:31

大數據

2010-06-04 18:45:43

Hadoop分布式文件

2012-09-19 15:05:24

MogileFS分布式文件系統

2012-09-19 13:43:13

OpenAFS分布式文件系統

2013-05-27 14:46:06

文件系統分布式文件系統

2012-10-09 16:43:47

FastDFS分布式文件系統

2011-03-16 14:23:38

分布式文件
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本精品一区二区 | 福利视频一区 | 91视视频在线观看入口直接观看 | 精品一区二区三区在线播放 | 色综合天天天天做夜夜夜夜做 | 狠狠爱综合网 | 国产黄色大片网站 | 日韩一区二区三区在线播放 | 亚洲综合国产 | 国产精品爱久久久久久久 | 日韩中文字幕 | 日韩欧美视频 | 精品视频一区二区三区在线观看 | 亚洲一区二区精品 | av激情在线 | 91av视频在线| 久久久久久久久久久久久九 | 在线国产视频 | 国产成人精品一区二区三 | 午夜精品一区二区三区三上悠亚 | 日韩视频成人 | 999精品视频| www.亚洲| 国产伦精品一区二区三区高清 | 欧美精品在线视频 | 久久这里有精品 | av网站在线播放 | 完全免费在线视频 | 欧美不卡一区二区 | 国产精品毛片一区二区在线看 | 成人免费视频网站在线看 | 国产精品国产a级 | 精品欧美一区二区精品久久久 | www国产成人免费观看视频,深夜成人网 | 免费国产视频 | www精品美女久久久tv | 免费久久视频 | 中文在线日韩 | 日本精品999 | 美女久久| 一区二区三区精品视频 |