成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

對比各類分布式鎖缺陷,抓住Redis分布式鎖實現命門

存儲 存儲軟件 分布式 分布式 Redis
兩年來微服務變得越來越熱門,越來越多的應用部署在分布式環境中,在分布式環境中,數據一致性是一直以來需要關注并且去解決的問題,分布式鎖也就成為了一種廣泛使用的技術,常用的分布式實現方式為Redis,Zookeeper,其中基于Redis的分布式鎖的使用更加廣泛。

 近兩年來微服務變得越來越熱門,越來越多的應用部署在分布式環境中,在分布式環境中,數據一致性是一直以來需要關注并且去解決的問題,分布式鎖也就成為了一種廣泛使用的技術,常用的分布式實現方式為Redis,Zookeeper,其中基于Redis的分布式鎖的使用更加廣泛。

但是在工作和網絡上看到過各個版本的Redis分布式鎖實現,每種實現都有一些不嚴謹的地方,甚至有可能是錯誤的實現,包括在代碼中,如果不能正確的使用分布式鎖,可能造成嚴重的生產環境故障,本文主要對目前遇到的各種分布式鎖以及其缺陷做了一個整理,并對如何選擇合適的Redis分布式鎖給出建議。

[[258219]]

各個版本的Redis分布式鎖

  • V1.0
  1. tryLock(){   
  2.     SETNX Key 1 
  3.     EXPIRE Key Seconds 
  4. release(){   
  5.   DELETE Key 

這個版本應該是最簡單的版本,也是出現頻率很高的一個版本,首先給鎖加一個過期時間操作是為了避免應用在服務重啟或者異常導致鎖無法釋放后,不會出現鎖一直無法被釋放的情況。

這個方案的一個問題在于每次提交一個Redis請求,如果執行完***條命令后應用異常或者重啟,鎖將無法過期,一種改善方案就是使用Lua腳本(包含SETNX和EXPIRE兩條命令),但是如果Redis僅執行了一條命令后crash或者發生主從切換,依然會出現鎖沒有過期時間,最終導致無法釋放。

另外一個問題在于,很多同學在釋放分布式鎖的過程中,無論鎖是否獲取成功,都在finally中釋放鎖,這樣是一個鎖的錯誤使用,這個問題將在后續的V3.0版本中解決。

針對鎖無法釋放問題的一個解決方案基于GETSET命令來實現

  • V1.1 基于GETSET
  1. tryLock(){   
  2.     NewExpireTime=CurrentTimestamp+ExpireSeconds 
  3.     if(SETNX Key NewExpireTime Seconds){ 
  4.          oldExpireTime = GET(Key
  5.           if( oldExpireTime < CurrentTimestamp){ 
  6.               NewExpireTime=CurrentTimestamp+ExpireSeconds 
  7.               CurrentExpireTime=GETSET(Key,NewExpireTime) 
  8.               if(CurrentExpireTime == oldExpireTime){ 
  9.                 return 1; 
  10.               }else
  11.                 return 0; 
  12.               } 
  13.           } 
  14.     } 
  15. release(){   
  16.         DELETE key 
  17.     } 

思路:

  1. SETNX(Key,ExpireTime)獲取鎖
  2. 如果獲取鎖失敗,通過GET(Key)返回的時間戳檢查鎖是否已經過期
  3. GETSET(Key,ExpireTime)修改Value為NewExpireTime
  4. 檢查GETSET返回的舊值,如果等于GET返回的值,則認為獲取鎖成功

注意:這個版本去掉了EXPIRE命令,改為通過Value時間戳值來判斷過期

問題:

1. 在鎖競爭較高的情況下,會出現Value不斷被覆蓋,但是沒有一個Client獲取到鎖

2. 在獲取鎖的過程中不斷的修改原有鎖的數據,設想一種場景C1,C2競爭鎖,C1獲取到了鎖,C2鎖執行了GETSET操作修改了C1鎖的過期時間,如果C1沒有正確釋放鎖,鎖的過期時間被延長,其它Client需要等待更久的時間

  • V2.0 基于SETNX
  1. tryLock(){   
  2.     SETNX Key 1 Seconds 
  3. release(){   
  4.   DELETE Key 

Redis 2.6.12版本后SETNX增加過期時間參數,這樣就解決了兩條命令無法保證原子性的問題。但是設想下面一個場景:

1. C1成功獲取到了鎖,之后C1因為GC進入等待或者未知原因導致任務執行過長,***在鎖失效前C1沒有主動釋放鎖

2. C2在C1的鎖超時后獲取到鎖,并且開始執行,這個時候C1和C2都同時在執行,會因重復執行造成數據不一致等未知情況 3. C1如果先執行完畢,則會釋放C2的鎖,此時可能導致另外一個C3進程獲取到了鎖

大致的流程圖

 

 

存在問題:

1. 由于C1的停頓導致C1 和C2同都獲得了鎖并且同時在執行,在業務實現間接要求必須保證冪等性

2. C1釋放了不屬于C1的鎖

  • V3.0
  1. tryLock(){   
  2.     SETNX Key UnixTimestamp Seconds 
  3. release(){   
  4.     EVAL( 
  5.       //LuaScript 
  6.       if redis.call("get",KEYS[1]) == ARGV[1] then 
  7.           return redis.call("del",KEYS[1]) 
  8.       else 
  9.           return 0 
  10.       end 
  11.     ) 

這個方案通過指定Value為時間戳,并在釋放鎖的時候檢查鎖的Value是否為獲取鎖的Value,避免了V2.0版本中提到的C1釋放了C2持有的鎖的問題;另外在釋放鎖的時候因為涉及到多個Redis操作,并且考慮到Check And Set 模型的并發問題,所以使用Lua腳本來避免并發問題。

存在問題:

如果在并發極高的場景下,比如搶紅包場景,可能存在UnixTimestamp重復問題,另外由于不能保證分布式環境下的物理時鐘一致性,也可能存在UnixTimestamp重復問題,只不過極少情況下會遇到。

  • V3.1
  1. tryLock(){   
  2.     SET Key UniqId Seconds 
  3. release(){   
  4.     EVAL( 
  5.       //LuaScript 
  6.       if redis.call("get",KEYS[1]) == ARGV[1] then 
  7.           return redis.call("del",KEYS[1]) 
  8.       else 
  9.           return 0 
  10.       end 
  11.     ) 

Redis 2.6.12后SET同樣提供了一個NX參數,等同于SETNX命令,官方文檔上提醒后面的版本有可能去掉SETNX, SETEX, PSETEX,并用SET命令代替,另外一個優化是使用一個自增的唯一UniqId代替時間戳來規避V3.0提到的時鐘問題。

這個方案是目前***的分布式鎖方案,但是如果在Redis集群環境下依然存在問題:

由于Redis集群數據同步為異步,假設在Master節點獲取到鎖后未完成數據同步情況下Master節點crash,此時在新的Master節點依然可以獲取鎖,所以多個Client同時獲取到了鎖

分布式Redis鎖:Redlock

V3.1的版本僅在單實例的場景下是安全的,針對如何實現分布式Redis的鎖,國外的分布式專家有過激烈的討論, antirez提出了分布式鎖算法Redlock,在distlock話題下可以看到對Redlock的詳細說明,下面是Redlock算法的一個中文說明(引用)

假設有N個獨立的Redis節點

  1. 獲取當前時間(毫秒數)。
  2. 按順序依次向N個Redis節點執行獲取鎖的操作。這個獲取操作跟前面基于單Redis節點的獲取鎖的過程相同,包含隨機字符串my_random_value,也包含過期時間(比如PX 30000,即鎖的有效時間)。為了保證在某個Redis節點不可用的時候算法能夠繼續運行,這個獲取鎖的操作還有一個超時時間(time out),它要遠小于鎖的有效時間(幾十毫秒量級)。客戶端在向某個Redis節點獲取鎖失敗以后,應該立即嘗試下一個Redis節點。這里的失敗,應該包含任何類型的失敗,比如該Redis節點不可用,或者該Redis節點上的鎖已經被其它客戶端持有(注:Redlock原文中這里只提到了Redis節點不可用的情況,但也應該包含其它的失敗情況)。
  3. 計算整個獲取鎖的過程總共消耗了多長時間,計算方法是用當前時間減去第1步記錄的時間。如果客戶端從大多數Redis節點(>= N/2+1)成功獲取到了鎖,并且獲取鎖總共消耗的時間沒有超過鎖的有效時間(lock validity time),那么這時客戶端才認為最終獲取鎖成功;否則,認為最終獲取鎖失敗。
  4. 如果最終獲取鎖成功了,那么這個鎖的有效時間應該重新計算,它等于最初的鎖的有效時間減去第3步計算出來的獲取鎖消耗的時間。
  5. 如果最終獲取鎖失敗了(可能由于獲取到鎖的Redis節點個數少于N/2+1,或者整個獲取鎖的過程消耗的時間超過了鎖的最初有效時間),那么客戶端應該立即向所有Redis節點發起釋放鎖的操作(即前面介紹的Redis Lua腳本)。
  6. 釋放鎖:對所有的Redis節點發起釋放鎖操作

然而Martin Kleppmann針對這個算法提出了質疑,提出應該基于fencing token機制(每次對資源進行操作都需要進行token驗證)

1. Redlock在系統模型上尤其是在分布式時鐘一致性問題上提出了假設,實際場景下存在時鐘不一致和時鐘跳躍問題,而Redlock恰恰是基于timing的分布式鎖

2. 另外Redlock由于是基于自動過期機制,依然沒有解決長時間的gc pause等問題帶來的鎖自動失效,從而帶來的安全性問題。

接著antirez又回復了Martin Kleppmann的質疑,給出了過期機制的合理性,以及實際場景中如果出現停頓問題導致多個Client同時訪問資源的情況下如何處理。

總結

不論是基于SETNX版本的Redis單實例分布式鎖,還是Redlock分布式鎖,都是為了保證下特性

1. 安全性:在同一時間不允許多個Client同時持有鎖

2. 活性

死鎖:鎖最終應該能夠被釋放,即使Client端crash或者出現網絡分區(通常基于超時機制)

容錯性:只要超過半數Redis節點可用,鎖都能被正確獲取和釋放

所以在開發或者使用分布式鎖的過程中要保證安全性和活性,避免出現不可預測的結果。

另外每個版本的分布式鎖都存在一些問題,在鎖的使用上要針對鎖的實用場景選擇合適的鎖,通常情況下鎖的使用場景包括:

Efficiency(效率):只需要一個Client來完成操作,不需要重復執行,這是一個對寬松的分布式鎖,只需要保證鎖的活性即可;

Correctness(正確性):多個Client保證嚴格的互斥性,不允許出現同時持有鎖或者對同時操作同一資源,這種場景下需要在鎖的選擇和使用上更加嚴格,同時在業務代碼上盡量做到冪等

在Redis分布式鎖的實現上還有很多問題等待解決,我們需要認識到這些問題并清楚如何正確實現一個Redis 分布式鎖,然后在工作中合理的選擇和正確的使用分布式鎖。

責任編輯:武曉燕 來源: TECH
相關推薦

2019-06-19 15:40:06

分布式鎖RedisJava

2022-01-06 10:58:07

Redis數據分布式鎖

2023-08-21 19:10:34

Redis分布式

2024-10-07 10:07:31

2024-04-01 05:10:00

Redis數據庫分布式鎖

2023-01-13 07:39:07

2021-10-25 10:21:59

ZK分布式鎖ZooKeeper

2024-11-28 15:11:28

2019-01-21 11:01:52

Redis分布式鎖缺陷

2020-07-30 09:35:09

Redis分布式鎖數據庫

2020-07-15 16:50:57

Spring BootRedisJava

2023-03-01 08:07:51

2018-07-17 08:14:22

分布式分布式鎖方位

2022-08-04 08:45:50

Redisson分布式鎖工具

2021-07-16 07:57:34

ZooKeeperCurator源碼

2018-11-27 16:17:13

分布式Tomcat

2022-09-19 08:17:09

Redis分布式

2020-11-16 12:55:41

Redis分布式鎖Zookeeper

2021-11-26 06:43:19

Java分布式

2019-07-16 09:22:10

RedisZookeeper分布式鎖
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲视频在线播放 | 精品成人一区二区 | 亚洲日本一区二区三区四区 | 亚洲国产一区二区三区 | 日韩欧美不卡 | 国产精品区一区二区三区 | 久久久精品一区 | 国产.com| 国产亚洲一区二区在线观看 | 亚洲国产自产 | 久热国产精品视频 | 国产精品99一区二区 | 97avcc| 日日夜夜免费精品视频 | 日本午夜视频 | 天堂一区| 99pao成人国产永久免费视频 | 国产一区二区三区久久久久久久久 | 精品欧美乱码久久久久久 | 国产精品一码二码三码在线 | 波波电影院一区二区三区 | 中文字幕一区二区三区四区 | 亚洲精品国产a久久久久久 午夜影院网站 | 成人免费视频观看视频 | 超碰成人免费 | 亚州国产 | 国产成人精品福利 | 国产精品污www一区二区三区 | 狠狠综合久久av一区二区老牛 | 欧美性猛交一区二区三区精品 | 久久99精品久久久久久 | 国产精品免费一区二区三区 | 国产视频一区二区 | a欧美| 国产成人一区二区三区精 | 中文字幕亚洲专区 | 亚洲精品在线看 | 男女视频在线观看网站 | 一区二区av| 日韩成人av在线播放 | a毛片视频网站 |