成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

分布式存儲系統(tǒng)中DHT算法改進

存儲 存儲軟件 分布式 算法
分布式存儲系統(tǒng)以及分布式緩存系統(tǒng)習(xí)慣采用分布式哈希(DHT)算法來實現(xiàn)數(shù)據(jù)的分區(qū)分配(路由)以及負載均衡,普通的分布式hash算法通過增添虛擬節(jié)點,對物理的熱點區(qū)間進行劃分,將負載分配至其他節(jié)點,從而達到負載均衡的狀態(tài),但是這并不能保證集群的負載就一定很是的均衡。

1、概述

通常,分布式存儲系統(tǒng)以及分布式緩存系統(tǒng)習(xí)慣采用分布式哈希(DHT)算法來實現(xiàn)數(shù)據(jù)的分區(qū)分配(路由)以及負載均衡,普通的分布式hash算法通過增添虛擬節(jié)點,對物理的熱點區(qū)間進行劃分,將負載分配至其他節(jié)點,從而達到負載均衡的狀態(tài),但是這并不能保證集群的負載就一定很是的均衡。

而一種改進過的一致性Hash算法,即帶邊界因子的一致性Hash算法,其嚴格控制每個節(jié)點的負載從而能獲得更好的負載均衡效果[1][2]。

[[222256]]

2、普通的DHT算法

假設(shè)有8個Object,通過下圖的DHT算法:

object 0,1,2映射到了虛擬節(jié)點vNode0 : object 0,1,2 --> vNode0

Object 3,4,5 映射到了vNode1:object 3,4,5 --> vNode1

Object 6映射到 vNode2:object 6 --> vNode2

Object 7映射到 vNodeN:object 7 --> vNodeN

很明顯,Vnode0和vNode1 都落了三個 object,而 vNode2和vNodeN 都只落了 1個Object,這里的DHT算法負債均衡因子并不是很好。

3、帶負載邊界因子的DHT算法

假設(shè)有8個Object,通過如下圖的DHT with bounded loads算法:

第一輪映射:

object 0,1,2 需要映射到了虛擬節(jié)點vNode0,但是vNode0的權(quán)重因子是 2,因此只完成了 object 0,1 --> vNode0, object 2不能映射到節(jié)點 vNode0;

Object 3,4,5 需要映射到了虛擬節(jié)點vNode1:但是vNode1的權(quán)重因子是 2,因此只完成了 object 3,4 --> vNode1, object 5不能映射到節(jié)點 vNode1;

Object 6映射到 vNode2:object 6 --> vNode2

Object 7映射到 vNodeN:object 7 --> vNodeN

第二輪映射:

Object 2 映射到 vNode1,但是vNode1權(quán)重因子=0, 不能被接收,繼續(xù)往下一個節(jié)點走,發(fā)現(xiàn)vNode2 權(quán)重因子是2,還剩權(quán)重因子1,可以被映射,因此 object 2-->vNode2

Object 5 映射到 vNode2,但是vNode2現(xiàn)在的權(quán)重因子=0, 不能被接收,繼續(xù)往下一個節(jié)點走,發(fā)現(xiàn)vNodeN 權(quán)重因子是2,還剩權(quán)重因子1,可以被映射,因此 object 5-->vNodeN

最終的映射結(jié)果是

object 0,1映射到了虛擬節(jié)點vNode0 : object 0,1 --> vNode0

Object 3,4 映射到了vNode1:object 3,4 --> vNode1

Object 2,6映射到 vNode2:object 2,6 --> vNode2

Object 5,7映射到 vNodeN:object 5,7 --> vNodeN

很明顯,Vnode0,vNode1,vNode2, vNodeN 每個節(jié)點都分到2個 object,

顯然帶負載邊界因子的DHT算法負債均衡比普通的DHT算法來的好。

這些節(jié)點的負載因子可以從IO,CPU,MEM,Disk,Network等輸入因子計算出來。

參考資料

[1] https://research.googleblog.com/2017/04/consistent-hashing-with-bounded-loads.html

[2] https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed

責(zé)任編輯:武曉燕 來源: 存儲與大數(shù)據(jù)每周談
相關(guān)推薦

2017-04-14 09:48:25

分布式存儲系統(tǒng)

2019-10-15 10:59:43

分布式存儲系統(tǒng)

2019-05-13 15:20:42

存儲系統(tǒng)算法

2018-09-29 14:08:04

存儲系統(tǒng)分布式

2017-10-16 10:24:47

LogDevice存儲系統(tǒng)

2017-07-18 09:51:36

文件存儲系統(tǒng)

2017-10-17 08:33:31

存儲系統(tǒng)分布式

2017-12-18 10:47:04

分布式存儲數(shù)據(jù)

2017-10-12 09:36:54

分布式存儲系統(tǒng)

2017-10-19 08:45:15

存儲系統(tǒng)HBase

2018-11-20 09:19:58

存儲系統(tǒng)雪崩效應(yīng)

2018-10-29 12:42:23

Ceph分布式存儲

2013-12-27 10:56:42

分布式對象存儲Sheepdog性能測試

2014-02-19 11:37:57

分布式對象存儲Sheepdog

2010-07-02 10:08:12

BigtableGoogle

2021-08-07 05:00:20

存儲系統(tǒng)

2025-01-26 11:54:39

分布式存儲系統(tǒng)

2018-05-10 09:34:21

spark存儲系統(tǒng)

2021-07-04 07:07:06

Ceph分布式存儲架構(gòu)

2019-07-05 15:01:32

區(qū)塊鏈系統(tǒng)分布式存儲
點贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 在线观看国产精品一区二区 | 久久亚洲国产精品日日av夜夜 | 日韩亚洲视频 | 亚洲精品久久久久久久久久久久久 | 亚洲精品二三区 | 亚洲国产精品suv | 91精品久久久久久久久久入口 | 国产日韩一区二区三免费 | 成人久久18免费网站麻豆 | 一级网站 | 成年人免费在线视频 | 99综合网 | 久久精品免费一区二区三 | 亚洲一区二区黄 | 一区二区三区视频 | av网址在线播放 | 日韩一区二区三区在线观看 | 久久免费精品 | av永久免费 | 91影院 | 久久久久国产成人精品亚洲午夜 | 日韩国产中文字幕 | 精品一区二区久久久久久久网精 | www.国产精 | 美国十次成人欧美色导视频 | 97国产一区二区 | 亚洲午夜久久久 | 99国产精品久久久久 | 国产成人精品a视频一区www | 中文字幕在线观看av | 国际精品久久 | 深爱激情综合 | 久久久久一区二区三区 | 日韩在线免费视频 | 国内av在线 | 日本高清视频在线播放 | 91精品国产综合久久福利软件 | 亚洲人精品午夜 | 精品国产视频 | 国产一区二区三区四区五区3d | 国产美女网站 |