成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

一日一技:二分偏左,二分搜索在分布式系統里面也有用?

開發 前端
假設現在你有10個Redis的單節點用來做分布式緩存。因為某種原因,你不能做集群。當你要搜索一個數據的時候,你要先確定這個數據在不在Redis中。如果在,就直接從Redis中讀取數據;如果不在,就先去數據庫里面讀取,然后緩存到Redis中。

相信大家都知道二分搜索,在一個有序的列表中,使用二分搜索,能夠以O(logN)的時間復雜度快速確定目標是不是在列表中。

二分搜索的代碼非常簡單,使用遞歸只需要幾行代碼就能搞定:

def binary_search(sorted_list, target):
"""
sorted_list是單調遞增的列表
"""
if not sorted_list:
return False
mid = len(sorted_list) // 2
if target > sorted_list[mid]:
return binary_search(sorted_list[mid + 1:], target)
elif target < sorted_list[mid]:
return binary_search(sorted_list[:mid], target)
else:
return True

運行效果如下圖所示:

圖片

Python自帶了一個二分搜索的模塊,叫做bisect,它也能實現二分搜索,但是它的執行結果跟我們上面代碼的效果有點不同:

import bisect

a = [41, 46, 67, 74, 75, 76, 80, 86, 92, 100]
index = bisect.bisect(a, 75)
print(index)

index = bisect.bisect(a, 82)
print(index)

運行效果如下圖所示:

圖片

可以看到,bisect.bisect()?返回一個索引。如果要搜索的數已經在列表里面了,那么它返回的是這個數在列表中,最右邊?的這個目標數的索引+1. 以列表[41, 46, 67, 74, 75, 76, 80, 86, 92, 100]?為例,要搜索75?。由于75?在原來列表中的索引是4?。因此返回索引+1?也就是5. 如果原來列表中,75?出現了多次,比如[41, 46, 67, 74, 75, 75, 76, 80, 86, 92, 100]?那么返回的是最右邊?那個75?對應的索引+1?,也就是6。

如果要找的數字不在原來列表中,那么bisect.bisect()?會返回一個索引,當我們把目標數字插入到這個列表中對應索引的位置時,列表依然有序。例如[41, 46, 67, 74, 75, 76, 80, 86, 92, 100]?中,我們找82?。它返回的是7?。原來列表里面索引為7的位置是數字86,我們把82插入到這個位置,原有的數據依次后移一位,此時列表依然有序。

bisect?這個模塊還有一個函數,叫做bisect.bisect_left()。如果目標數字在原來的列表中,那么返回的是最左邊那個數字對應的索引.如果不在列表中,那么返回的索引插入目標數字以后依然有序,如下圖所示:

圖片

這個函數看起來非常簡單,但你可能不知道,它在分布式系統中也有重要的用途。

假設現在你有10個Redis的單節點用來做分布式緩存。因為某種原因,你不能做集群。當你要搜索一個數據的時候,你要先確定這個數據在不在Redis中。如果在,就直接從Redis中讀取數據;如果不在,就先去數據庫里面讀取,然后緩存到Redis中。

因為數據量很大,你不能把同一份數據同時存在10個Redis節點里面,因此你需要設計一個算法,不同的數據存放在不同的Redis節點中。

當你要查詢數據的時候,你能根據這個算法查詢到數據(如果在緩存中)應該存放在哪個Redis中。

稍微有一點分布式系統設計經驗的同學肯定會想到,這個簡單啊,10個Redis節點編號0-9.對key計算Hash值,這個哈希值是32位的十六進制數,可以轉換成十進制以后對10求余數,余數是多少,就放到對應的節點里面。

這樣一來,只要來了一個新的數據,你只需要去余數對應的Redis中判斷它有沒有緩存就可以了。

但問題來了,如果你開始使用這個方法,Redis中已經有數據了,那么你的Redis節點數就不能變了。一旦你增加或者減少1個節點,所有余數全部變了,新來的數據找到的Redis節點肯定是錯的。例如key的Hash值原來除以10,余數是2,現在除以9,余數是1.那本來你應該去2號Redis找緩存,現在卻跑到1號Redis找緩存,那一定找不到。

這個問題要怎么解決呢?我們用一個簡單的例子來做演示。假設我現在有一個列表:[200, 250, 300, 400, 500, 530, 600]。每個數字代表這個價位的房子。單位是萬。你想買一個房子,但便宜的房子太破,好的房子又太貴。因此你只找價格等于你的期望,或者雖然比你的期望略高但差距最小的房子。

假設現在你的期望是250萬,而正好有個房子賣250萬,因此你可以買它。

假設現在你的期望是470萬,那么你唯一的選擇是500萬的房子。

到目前為止應該非常好理解,那么我們來增加或者減少候選項:

  • 500萬的房子被別人買走了。列表變成[200, 250, 300, 400, 530, 600],因此唯一適合你的是530萬的房子。
  • 如果現在250萬的房子被人買走了,列表變成[200, 300, 400, 500, 530, 600]。此時對你沒有任何影響,適合你的房子還是500萬的房子。
  • 如果現在增加了一個480萬的房子,列表變成[200, 250, 300, 400, 480, 500, 530, 600]。那么現在適合你的房子變成了480萬。
  • 如果現在增加了一個240萬的房子,列表變成[200, 240, 250, 300, 400, 500, 530, 600]。此時對你沒有任何影響,適合你的還是500萬的房子。

這個場景,我們正好可以使用bisect.bisect_left()!效果如下圖所示:

圖片

當備選項發生改變的時候,只有你目標選項附近的房子受到了影響。而小于你候選項的房子和貴的多的房子的變動,對你沒有任何影響。

你注意到了嗎,這個場景跟我們分布式緩存增減Redis節點的場景非常像。我們原來有10臺Redis,現在新增了一臺,變成11臺了。那么只有一臺Redis的部分緩存會遷移到這個新增的Redis中。而其它9臺Redis的緩存不需要做任何改變。

同理,當我們刪除一臺Redis節點時,這個被刪除的節點里面的數據,只需要同步到它旁邊的另一臺Redis節點中就可以了。另外8個Redis節點不需要做任何修改!(也可以不同步,只有一小部分key會因為刪除這個節點導致找不到數據,而重新讀數據庫。80%的緩存不會受到任何影響。)

這就是一致性Hash的算法。

我來簡單描述一下這個算法的實現過程。首先,我們使用redis.Redis(不同redis的連接參數)創建10個連接對象。然后把每個連接對象和一個Hash值創建映射,如下圖所示:

圖片

然后,我們把這10個Hash值排序以后放到一個列表中。如下圖所示:

圖片

現在,來了一條新的緩存查詢需求,我們計算key對應的Hash值,然后使用bisect.bisect_left()到列表中去尋找它對應的Redis節點的Hash值的索引。如果返回的索引等于列表的長度,那么讓索引等于0. 找到索引以后,拿到對應的Redis節點的Hash,最后再用這個Hash去找到對應的Redis節點,簡化代碼如下:

`

圖片

如果新增或者刪除了Redis節點,那么只需要更新node_map和cycle?就可以了。只會發生很小的數據遷移,對絕大部分的緩存都不會造成任何影響。例如我現在把第1個Redis鏈接對象?對應的Hash:fbef6b15be1abe9edc8f6aaac6a86357從node_map和cycle中刪除。再進行查詢,會發現依然找到的是編號為6的Redis節點。

圖片

一致性Hash在分布式系統中有廣泛的應用。但你可能想不到,它的核心原理就是二分搜索里面的bisect_left。

當然,上面只是簡化算法。一致性Hash的完整算法還涉及到虛擬節點和避免數據傾斜的算法。如果大家有興趣的話,我也可以寫一篇文章,完整解釋它的算法實現。

責任編輯:武曉燕 來源: 未聞Code
相關推薦

2023-11-28 14:19:42

2021-04-19 23:29:44

MakefilemacOSLinux

2021-09-13 20:38:47

Python鏈式調用

2021-03-12 21:19:15

Python鏈式調用

2021-07-27 21:32:57

Python 延遲調用

2021-05-21 08:31:09

數據結構二叉樹

2021-02-24 07:46:20

數據結構二叉樹

2022-03-28 10:03:58

二分查找算法

2022-04-13 07:31:20

CAP定理分布式數據庫

2021-10-06 23:17:26

Python抽象類接口

2021-10-15 21:08:31

PandasExcel對象

2021-04-27 22:15:02

Selenium瀏覽器爬蟲

2025-05-28 03:15:00

Scrapy數據sleep

2021-04-12 21:19:01

PythonMakefile項目

2021-06-08 21:36:24

PyCharm爬蟲Scrapy

2022-06-28 09:31:44

LinuxmacOS系統

2023-10-28 12:14:35

爬蟲JavaScriptObject

2024-11-13 09:18:09

2024-07-30 08:16:18

Python代碼工具

2021-04-05 14:47:55

Python多線程事件監控
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久久久久亚洲精品 | 成人一级黄色毛片 | 中文字幕在线观看一区 | 国产精品视频免费看 | 一级高清免费毛片 | 91福利在线观看视频 | 91精品国产91久久久久久密臀 | 国产99久久精品一区二区永久免费 | 成人免费视屏 | 久久伊人影院 | 亚洲福利 | a级免费黄色片 | 在线观看国产wwwa级羞羞视频 | 羞羞的视频免费在线观看 | 欧美aa在线 | 久久综合狠狠综合久久综合88 | 国产区在线 | 1级黄色大片 | 亚洲综合中文字幕在线观看 | 中文字幕在线观看视频网站 | 欧美激情综合网 | 亚洲伊人久久综合 | 亚洲a网| 亚洲国产精品美女 | 欧美激情视频一区二区三区在线播放 | 国产乱码精品一区二区三区中文 | 最新黄色毛片 | 奇米四色影视 | 一区二区在线免费观看视频 | 国产h视频| 久久国产精品-久久精品 | 亚洲国产aⅴ精品一区二区 免费观看av | 精品久久久久久久久久久久久 | 精品一区二区三区四区视频 | 在线成人av| 久久久久亚洲精品中文字幕 | 成年男女免费视频网站 | 男女啪啪高潮无遮挡免费动态 | 人人看人人干 | 亚洲成人av| 亚洲国产成人精品久久 |