Redis+DB實(shí)現(xiàn)基于號段的發(fā)號器原理
什么是發(fā)號器
在互聯(lián)網(wǎng)場景中,很多業(yè)務(wù)要求生成唯一的ID號,以用于區(qū)分某些資源。常見例子:電商系統(tǒng)中的訂單ID號、聊天群組中的消息ID號、上傳文件到存儲系統(tǒng)中之后生成的文件ID號、用戶注冊系統(tǒng)中的用戶ID號、商戶系統(tǒng)中的商戶ID號、開放平臺中的開發(fā)者賬號ID、餐飲店的排隊(duì)進(jìn)餐號、影劇院票據(jù)單號、醫(yī)院/銀行排隊(duì)號等等,這些基本都是基于先來后到的規(guī)則生成,以期達(dá)到唯一性或稍顯公平的享受某些資源。
你是否想過使用技術(shù)應(yīng)該如何實(shí)現(xiàn)呢?下面引出本文主角:發(fā)號器(ticket dispenser),也可稱之為ID生成器 (生成的ID號可以是字符串也可以是整數(shù),本文僅探討生成整數(shù)id的發(fā)號器實(shí)現(xiàn)原理)。
在互聯(lián)網(wǎng)行業(yè)中,為了保證服務(wù)的穩(wěn)定性、可用性、并發(fā)性等指標(biāo),服務(wù)一般是采用集群多節(jié)點(diǎn)部署,如何保證在這些不同的節(jié)點(diǎn)生成符合業(yè)務(wù)要求的ID,又引出另一個(gè)概念:分布式ID生成器(實(shí)現(xiàn)方案有多種)。關(guān)于分布式ID的常見實(shí)現(xiàn)方式參考筆者文章:分布式ID的5種生成方式以及Go源碼中的一種應(yīng)用,文章中列舉了常見的5種實(shí)現(xiàn)方式以及原理。本文,則重點(diǎn)講解使用Redis+DB基于號段的發(fā)號器實(shí)現(xiàn)原理。
實(shí)現(xiàn)發(fā)號器需要的關(guān)注點(diǎn)
需要關(guān)注的點(diǎn)大致有以下幾個(gè):
- 有序性
正序或倒序,發(fā)號器基本都是基于某種緯度的正序排列。還有一些不需要有序性,只要保證唯一性即可。
- 遞增性
隨著時(shí)間的流逝,號碼的值只能增大不能變小,即:后面生成的一定大于前面生成的。
- 唯一性
在整個(gè)生成的號碼值域中,同一個(gè)號碼有且僅出現(xiàn)一次。
- 先到先得
先申請?zhí)柎a的先獲取到,后申請?zhí)柎a的后獲取到。
基于號段的發(fā)號器實(shí)現(xiàn)原理
由上圖可知,實(shí)現(xiàn)基于號段的發(fā)號器邏輯有2個(gè)角色:
1. 發(fā)號生成器
2. 集中式號段管理器
對于基于號段的發(fā)號器來說,發(fā)號生成器本身存儲一段可用的值域空間,其數(shù)據(jù)結(jié)構(gòu)一般為:[currId, maxId],currId為下一個(gè)可用id,maxId為當(dāng)前號段最大id。每當(dāng)有號碼申請到達(dá)后,發(fā)號器先判斷是否有可用號碼。
若currId<=maxId則存在可用id,把currId返回給申請方,然后currId+=1。
若currId>maxId,說明該號段被消耗殆盡。此時(shí),發(fā)號器需要申請新的號段值域空間。即:申請新的maxId,一般使用步長的方式,發(fā)號器每次申請新的值域空間,會(huì)得到長度固定的新值域空間 (判斷發(fā)號生成器是否存在可用號碼,一般有2種寫法,只是處理邊界條件不一樣,這里以currId<=maxId視為有可用號碼)。
通常情況下,發(fā)號生成器分為進(jìn)程內(nèi)發(fā)號生成器與進(jìn)程外發(fā)號生成器。即:在進(jìn)程內(nèi)部維護(hù)[currId, maxId]值域空間還是在進(jìn)程外部維護(hù)[currId, maxId]值域空間。進(jìn)程內(nèi)部可以通過全局變量+進(jìn)程內(nèi)部鎖(或原子操作)的方式實(shí)現(xiàn),進(jìn)程外部通過其他中間件(Redis or DB)或服務(wù)來實(shí)現(xiàn)。
進(jìn)程內(nèi)發(fā)號生成器與進(jìn)程外發(fā)號生成器的使用場景也有很大不同之處,服務(wù)一般存在多個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)都存在一個(gè)業(yè)務(wù)進(jìn)程。若對全部請求都要保證先來后到嚴(yán)格的時(shí)序性,則需要使用唯一的進(jìn)程外發(fā)號生成器。若不用保證先來后到嚴(yán)格的時(shí)序性,則進(jìn)程內(nèi)發(fā)號生成器與進(jìn)程外發(fā)號生成器都可以使用,考慮性能優(yōu)先選擇進(jìn)程內(nèi)發(fā)號生成器。
Redis+DB實(shí)現(xiàn)基于號段的發(fā)號器
通過上面可知,實(shí)現(xiàn)發(fā)號器功能需要實(shí)現(xiàn)2個(gè)角色:發(fā)號生成器與集中式號段管理器,本文著重講解進(jìn)程外發(fā)號生成器的實(shí)現(xiàn)原理。這里使用Redis作為發(fā)號生成器,DB作為集中式號段管理器。
Redis發(fā)號生成器僅僅是一個(gè)hash類型的數(shù)值結(jié)構(gòu),包含2個(gè)field:v_l/v_h。
DB集中式號段管理器一般是一張表結(jié)構(gòu),核心的2個(gè)字段:server_name/max_id。
通過上圖可知,業(yè)務(wù)在通過發(fā)號器獲取號碼時(shí)需要經(jīng)歷以下幾個(gè)步驟:
1. 業(yè)務(wù)請求Redis發(fā)號生成器獲取號碼
2. 發(fā)號生成器判斷是否存在可用號碼
3. 有幾種情況
3.1 正常獲取號碼返回給業(yè)務(wù)(到這里結(jié)束)
3.2 發(fā)號生成器數(shù)據(jù)結(jié)構(gòu)不存在
3.3 發(fā)號生成器數(shù)值空間耗盡
4. 對于3.2/3.3這兩種情況,業(yè)務(wù)會(huì)加分布式鎖并請求DB集中式號段管理器獲取新的號段
5. DB集中式號段管理器返回新的號段
6. 業(yè)務(wù)更新發(fā)號生成器號段
7. 回到第1步