成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

緩存一致性策略以及雪崩、穿透問題

存儲 存儲軟件
高并發情境下首先考慮到的第一層優化方案就是增加緩存,尤其是通過Redis將原本在數據庫中的數據復制一份放到內存中,可以減少對數據庫的讀操作,數據庫的壓力降低,同時也會加快系統的響應速度,但是同樣的也會帶來其他的問題,比如需要考慮數據的一致性、還需要預防可能的緩存擊穿、穿透和雪崩問題等等。

 一. 緩存原理

高并發情境下首先考慮到的第一層優化方案就是增加緩存,尤其是通過Redis將原本在數據庫中的數據復制一份放到內存中,可以減少對數據庫的讀操作,數據庫的壓力降低,同時也會加快系統的響應速度,但是同樣的也會帶來其他的問題,比如需要考慮數據的一致性、還需要預防可能的緩存擊穿、穿透和雪崩問題等等。

[[260641]]

1. 實現步驟

先查詢緩存中有沒有要的數據,如果有,就直接返回緩存中的數據。如果緩存中沒有要的數據,才去查詢數據庫,將得到數據更新到緩存再返回,如果數據庫中也沒有就可以返回空。

 

考慮數據一致性,緩存處的代碼邏輯都較為標準化,首先取Redis,擊中則返回,未擊中則通過數據庫來進行查詢和同步。

  1. public Result query(String id) { 
  2. Result result = null
  3. //1.從Redis緩存中取數據 
  4. result = (Result)redisTemplate.opsForValue().get(id); 
  5. if (null != result){ 
  6. System.out.println("緩存中得到數據"); 
  7. return result; 
  8. //2.通過DB查詢,有則同步更新redis,否則返回空 
  9. System.out.println("數據庫中得到數據"); 
  10. result = Dao.query(id); 
  11. if (null != result){ 
  12. redisTemplate.opsForValue().set(id,result); 
  13. redisTemplate.expire(id,20000, TimeUnit.MILLISECONDS); 
  14. return result; 

其他的新增、刪除和更新操作,可以直接采用先清空該Key下的緩存值再進行DB操作,這樣邏輯清晰簡單,維護的復雜度會降低,而付出代價就是多查詢一次。

  1. public void update(Entity entity) { 
  2. redisTemplate.delete(entity.getId()); 
  3. Dao.update(entity); 
  4. return entity; 
  5.  
  6. public Entity add(Entity entity) { 
  7. redisTemplate.delete(entity.getId()); 
  8. Dao.insert(entity); 
  9. return entity; 

2. 緩存更新策略

適用于做緩存的場景一般都是:訪問頻繁、讀場景較多而寫場景少、對數據一致性要求不高。如果上面三個條件都不符合,那維護一套緩存數據的意義并不大了,實際應用中通常都需要針對業務場景來選擇合適的緩存方案,下面給出了四種緩存策略,由上到下就是按照一致性由強到弱的順序。

更新策略特點適用場景

實時更新同步更新保證強一致性,與業務強侵入強耦合金融轉賬業務等

弱實時異步更新(MQ/發布訂閱/觀察者模式),業務解耦,弱一致性存在延遲不適合寫頻繁場景

失效機制設置緩存失效,有一定延遲,可能存在雪崩適用讀多寫少,能接受一定的延時

任務調度通過定時任務進行全量更新統計類業務,訪問頻繁且定期更新

二. 緩存雪崩和擊穿

1. 緩存雪崩概念

緩存雪崩是指在我們設置緩存時采用了相同的過期時間,導致緩存在某一時刻同時失效,請求全部轉發到DB,DB瞬時壓力過重雪崩。和緩存擊穿不同的是,緩存擊穿指并發查同一條數據,緩存雪崩是不同數據都過期了,很多數據都查不到從而查數據庫。

解決方案

將緩存失效時間分散開,比如我們可以在原有的失效時間基礎上增加一個隨機值,比如1-5分鐘隨機,這樣每一個緩存的過期時間的重復率就會降低,就很難引發集體失效的事件。

用加鎖或者隊列的方式保證緩存的單線程(進程)寫,從而避免失效時大量的并發請求落到底層存儲系統上。

第一種方案比較容易實現,第二種的思路主要是從加阻塞式的排它鎖來實現,在緩存查詢不到的情況下,每此只允許一個線程去查詢DB,這樣可避免同一個ID的大量并發請求都落到數據庫中。

  1. public Result query(String id) { 
  2. // 1.從緩存中取數據 
  3. Result result = null
  4. result = (Result)redisTemplate.opsForValue().get(id); 
  5. if (result ! = null) { 
  6. logger.info("緩存中得到數據"); 
  7. return result; 
  8.  
  9. //2.加鎖排隊,阻塞式鎖 
  10. doLock(id);//多少個id就可能有多少把鎖 
  11. try{ 
  12. //一次只有一個線程 
  13. //雙重校驗,第一次獲取到后面的都可以從緩存中直接擊中 
  14. result = (Result)redisTemplate.opsForValue().get(id); 
  15. if (result != null) { 
  16. logger.info("緩存中得到數據"); 
  17. return result;//第二個線程,這里返回 
  18.  
  19. result = dao.query(id); 
  20. // 3.從數據庫查詢的結果不為空,則把數據放入緩存中,方便下次查詢 
  21. if (null != result) { 
  22. redisTemplate.opsForValue().set(id,result); 
  23. redisTemplate.expire(id,20000, TimeUnit.MILLISECONDS); 
  24. return provinces; 
  25. } catch(Exception e) { 
  26. return null
  27. } finally { 
  28. //4.解鎖 
  29. releaseLock(provinceid); 
  30.  
  31. private void releaseLock(String userCode) { 
  32. ReentrantLock oldLock = (ReentrantLock) locks.get(userCode); 
  33. if(oldLock !=null && oldLock.isHeldByCurrentThread()){ 
  34. oldLock.unlock(); 
  35.  
  36. private void doLock(String lockcode) { 
  37. //id有不同的值 
  38. //id相同的,加一個鎖,不是同一個key,不能用同一個鎖 
  39. ReentrantLock newLock = new ReentrantLock();//創建一個鎖 
  40. //若已存在,則newLock直接丟棄 
  41. Lock oldLock = locks.putIfAbsent(lockcode, newLock); 
  42. if(oldLock == null){ 
  43. newLock.lock(); 
  44. }else
  45. oldLock.lock(); 
  46. ?? 

注意:加鎖排隊的解決方式在處理分布式環境的并發問題,有可能還要解決分布式鎖的問題;線程還會被阻塞,用戶體驗很差!因此,在真正的高并發場景下很少使用!

2. 緩存擊穿概念

一個存在的key,在緩存過期的一刻,同時有大量的請求,這些請求都會擊穿到DB,造成瞬時DB請求量大、壓力驟增。

解決方案

在訪問key之前,采用SETNX(set if not exists)來設置另一個短期key來鎖住當前key的訪問,訪問結束再刪除該短期key。

三. 緩存穿透

1. 緩存穿透概念

緩存穿透是指緩存和數據庫中都沒有的數據,而用戶不斷發起請求,如發起為id為“-1”的數據或id為特別大不存在的數據。這時的用戶很可能遭遇安全威脅,導致數據庫壓力過大。

解決方案:布隆過濾器

布隆過濾器的使用方法,類似java的SET集合,用來判斷某個元素(key)是否在某個集合中。和一般的hash set不同的是,這個算法無需存儲key的值,對于每個key,只需要k個比特位,每個存儲一個標志,用來判斷key是否在集合中。

使用步驟:

將List數據裝載入布隆過濾器中

  1. private BloomFilter<String> bf =null
  2.  
  3. //PostConstruct注解對象創建后,自動調用本方法 
  4. @PostConstruct 
  5. public void init(){ 
  6. //在bean初始化完成后,實例化bloomFilter,并加載數據 
  7. List<Entity> entities= initList(); 
  8. //初始化布隆過濾器 
  9. bf = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), entities.size()); 
  10. for (Entity entity : entities) { 
  11. bf.put(entity.getId()); 
  12. ?? 

訪問經過布隆過濾器,存在才可以往db中查詢

  1. public Provinces query(String id) { 
  2. //先判斷布隆過濾器中是否存在該值,值存在才允許訪問緩存和數據庫 
  3. if(!bf.mightContain(id)) { 
  4. Log.info("非法訪問"+System.currentTimeMillis()); 
  5. return null
  6. Log.info("數據庫中得到數據"+System.currentTimeMillis()); 
  7. Entity entity= super.query(id); 
  8. return entity; 

這樣當外界有惡意威脅時,不存在的數據請求就可以直接攔截在過濾器層,而不會影響到底層數據庫系統。

責任編輯:武曉燕 來源: 零壹技術棧
相關推薦

2019-02-13 11:04:42

系統緩存軟件

2022-12-14 08:23:30

2020-05-12 10:43:22

Redis緩存數據庫

2020-06-01 22:09:48

緩存緩存同步緩存誤用

2024-04-11 13:45:14

Redis數據庫緩存

2023-04-13 08:15:47

Redis緩存一致性

2023-08-15 09:31:01

分布式緩存

2017-07-25 14:38:56

數據庫一致性非鎖定讀一致性鎖定讀

2023-06-26 07:17:48

負載均衡策略Dubbo

2024-11-14 07:10:00

2024-12-26 15:01:29

2022-09-06 15:30:20

緩存一致性

2023-08-14 08:10:33

CPU緩存RFO

2021-06-11 09:21:58

緩存數據庫Redis

2021-02-05 08:00:48

哈希算法?機器

2021-02-02 12:40:50

哈希算法數據

2023-05-09 10:59:33

緩存技術派MySQL

2024-04-23 08:22:58

Meta緩存系統

2024-05-28 00:50:00

RedisMySQL緩存

2020-10-26 19:25:23

CPU緩存Cache
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 久久久一二三 | 日本三级电影在线看 | 免费黄色片在线观看 | 国产高潮好爽受不了了夜夜做 | www免费视频| 欧美一区二区三区精品免费 | 日韩欧美一区二区在线播放 | 中文字幕在线观看 | 欧美一级做a爰片免费视频 国产美女特级嫩嫩嫩bbb片 | 99亚洲精品 | 亚洲欧美一区二区三区在线 | 欧美日韩专区 | 色婷婷综合久久久中字幕精品久久 | 免费国产视频 | 涩涩视频网站在线观看 | 国产成人a亚洲精品 | 亚洲高清久久 | 天堂中文在线观看 | 91中文| 狠狠av | 亚洲深夜福利 | 久久精品青青大伊人av | 国产一区二区三区四区 | www.色综合| 亚洲国产一区二区在线 | 欧美日韩一区二区三区四区 | 91精品在线播放 | 91精品麻豆日日躁夜夜躁 | 99热这里有精品 | 久久99精品久久久久久青青日本 | 国产高清在线精品 | 91五月天| 影音先锋亚洲资源 | 亚洲黄色网址视频 | 欧美激情视频一区二区三区免费 | 日韩欧美不卡 | 中文字幕在线观看一区二区 | 精品久久精品 | 免费一级黄色录像 | 国产在线拍偷自揄拍视频 | 国产午夜在线 |