成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Redis內存淘汰和過期刪除策略原理分析

數據庫 其他數據庫
在實際使用過程中,過期時間配置只是一種常規手段,當key的數量在短時間內突增,就有可能導致內存不夠用。此時就需要依賴于Redis內部提供的淘汰策略來進一步的保證服務的可用性。

Redis是一個內存鍵值對數據庫,所以對于內存的管理尤為重要。Redis內部對于內存的管理主要包含兩個方向,過期刪除策略和數據淘汰策略。思考:

  • 什么是數據淘汰?
  • 數據過期和數據淘汰都是刪除數據,兩者有什么區別?
  • 實際使用場景是多樣化的,如何選擇合適的淘汰策略?

淘汰策略原理

所謂數據淘汰是指在Redis內存使用達到一定閾值的時候,執行某種策略釋放內存空間,以便于接收新的數據。內存可使用空間由配置參數maxmemory決定(單位mb/GB)。故又叫"最大內存刪除策略",也叫"緩存刪除策略"。

maxmemory配置

# 客戶端命令方式配置和查看內存大小
127.0.0.1:6379> config get maxmemory
"maxmemory"
"0"
127.0.0.1:6379> config set maxmemory 100mb
OK
127.0.0.1:6379> config get maxmemory
"maxmemory"
"104857600"

#通過redis.conf 配置文件配置
127.0.0.1:6379> info
# Server
#...
# 配置文件路徑
config_file:/opt/homebrew/etc/redis.conf
#...


# 修改內存大小
> vim /opt/homebrew/etc/redis.conf
############################## MEMORY MANAGEMENT ################################

# Set a memory usage limit to the specified amount of bytes.
# When the memory limit is reached Redis will try to remove keys
# according to the eviction policy selected (see maxmemory-policy).
#
#...
maxmemory 100mb
#...

注:若`maxmemory=0`則表示不做內存限制,但是對于windows系統來說,32位系統默認可使用空間是3G,因為整個系統內存是4G,需要留1G給系統運行。且淘汰策略會自動設置為noeviction,即不開啟淘汰策略,當使用空間達到3G的時候,新的內存請求會報錯。

淘汰策略分類

  • 淘汰策略配置maxmemory-policy,表示當內存達到maxmemory時,將執行配置的淘汰策略,由redis.c/freeMemoryIfNeeded 函數實現數據淘汰邏輯。maxmemory-policy配置
# 命令行配置方式
127.0.0.1:6379> CONFIG GET maxmemory-policy
"maxmemory-policy"
"noeviction"
127.0.0.1:6379> CONFIG SET maxmemory-policy volatile-lru
OK
127.0.0.1:6379> CONFIG GET maxmemory-policy
"maxmemory-policy"
"volatile-lru"

#redis.conf文件配置方式
# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
# is reached. You can select one from the following behaviors:
#
# volatile-lru -> Evict using approximated LRU, only keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU, only keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key having an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don't evict anything, just return an error on write operations.
#
# LRU means Least Recently Used
# LFU means Least Frequently Used
#
# Both LRU, LFU and volatile-ttl are implemented using approximated
# randomized algorithms.
# The default is:
# ...
maxmemory-policy noeviction

freeMemoryIfNeeded邏輯處理

int freeMemoryIfNeeded(void) {
  size_t mem_used, mem_tofree, mem_freed;
  int slaves = listLength(server.slaves);

  /* Remove the size of slaves output buffers and AOF buffer from the count of used memory.*/
  // 計算出 Redis 目前占用的內存總數,但有兩個方面的內存不會計算在內:
  // 1)從服務器的輸出緩沖區的內存
  // 2)AOF 緩沖區的內存
  mem_used = zmalloc_used_memory();
  if (slaves) {
    listIter li;
    listNode *ln;

    listRewind(server.slaves,&li);
    while((ln = listNext(&li))) {
      redisClient *slave = listNodeValue(ln);
      unsigned long obuf_bytes = getClientOutputBufferMemoryUsage(slave);
      if (obuf_bytes > mem_used)
        mem_used = 0;
      else
        mem_used -= obuf_bytes;
    }
  }
  if (server.aof_state != REDIS_AOF_OFF) {
    mem_used -= sdslen(server.aof_buf);
    mem_used -= aofRewriteBufferSize();
  }

  /* Check if we are over the memory limit. */
  // 如果目前使用的內存大小比設置的 maxmemory 要小,那么無須執行進一步操作
  if (mem_used <= server.maxmemory) return REDIS_OK;

  // 如果占用內存比 maxmemory 要大,但是 maxmemory 策略為不淘汰,那么直接返回
  if (server.maxmemory_policy == REDIS_MAXMEMORY_NO_EVICTION)
    return REDIS_ERR; /* We need to free memory, but policy forbids. */

  /* Compute how much memory we need to free. */
  // 計算需要釋放多少字節的內存
  mem_tofree = mem_used - server.maxmemory;

  // 初始化已釋放內存的字節數為 0
  mem_freed = 0;

  // 根據 maxmemory 策略,
  // 遍歷字典,釋放內存并記錄被釋放內存的字節數
  while (mem_freed < mem_tofree) {
    int j, k, keys_freed = 0;

    // 遍歷所有字典
    for (j = 0; j < server.dbnum; j++) {
      long bestval = 0; /* just to prevent warning */
      sds bestkey = NULL;
      dictEntry *de;
      redisDb *db = server.db+j;
      dict *dict;

      if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
        server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM)
      {
        // 如果策略是 allkeys-lru 或者 allkeys-random 
        // 那么淘汰的目標為所有數據庫鍵
        dict = server.db[j].dict;
      } else {
        // 如果策略是 volatile-lru 、 volatile-random 或者 volatile-ttl 
        // 那么淘汰的目標為帶過期時間的數據庫鍵
        dict = server.db[j].expires;
      }

      // 跳過空字典
      if (dictSize(dict) == 0) continue;

      /* volatile-random and allkeys-random policy */
      // 如果使用的是隨機策略,那么從目標字典中隨機選出鍵
      if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM ||
        server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_RANDOM)
      {
        de = dictGetRandomKey(dict);
        bestkey = dictGetKey(de);
      }

      /* volatile-lru and allkeys-lru policy */
      // 如果使用的是 LRU 策略,
      // 那么從一集 sample 鍵中選出 IDLE 時間最長的那個鍵
      else if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
        server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_LRU)
      {
        struct evictionPoolEntry *pool = db->eviction_pool;

        while(bestkey == NULL) {
          evictionPoolPopulate(dict, db->dict, db->eviction_pool);
          /* Go backward from best to worst element to evict. */
          for (k = REDIS_EVICTION_POOL_SIZE-1; k >= 0; k--) {
            if (pool[k].key == NULL) continue;
            de = dictFind(dict,pool[k].key);

            /* Remove the entry from the pool. */
            sdsfree(pool[k].key);
            /* Shift all elements on its right to left. */
            memmove(pool+k,pool+k+1,
              sizeof(pool[0])*(REDIS_EVICTION_POOL_SIZE-k-1));
            /* Clear the element on the right which is empty since we shifted one position to the left.  */
            pool[REDIS_EVICTION_POOL_SIZE-1].key = NULL;
            pool[REDIS_EVICTION_POOL_SIZE-1].idle = 0;

            /* If the key exists, is our pick. Otherwise it is a ghost and we need to try the next element. */
            if (de) {
              bestkey = dictGetKey(de);
              break;
            } else {
              /* Ghost... */
              continue;
            }
          }
        }
      }

      /* volatile-ttl */
      // 策略為 volatile-ttl ,從一集 sample 鍵中選出過期時間距離當前時間最接近的鍵
      else if (server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_TTL) {
        for (k = 0; k < server.maxmemory_samples; k++) {
          sds thiskey;
          long thisval;

          de = dictGetRandomKey(dict);
          thiskey = dictGetKey(de);
          thisval = (long) dictGetVal(de);

          /* Expire sooner (minor expire unix timestamp) is better candidate for deletion */
          if (bestkey == NULL || thisval < bestval) {
            bestkey = thiskey;
            bestval = thisval;
          }
        }
      }

      /* Finally remove the selected key. */
      // 刪除被選中的鍵
      if (bestkey) {
        long long delta;

        robj *keyobj = createStringObject(bestkey,sdslen(bestkey));
        propagateExpire(db,keyobj);
        // 計算刪除鍵所釋放的內存數量
        delta = (long long) zmalloc_used_memory();
        dbDelete(db,keyobj);
        delta -= (long long) zmalloc_used_memory();
        mem_freed += delta;
        
        // 對淘汰鍵的計數器增一
        server.stat_evictedkeys++;

        notifyKeyspaceEvent(REDIS_NOTIFY_EVICTED, "evicted",
            keyobj, db->id);
        decrRefCount(keyobj);
        keys_freed++;

        /* When the memory to free starts to be big enough, we may */
        /* start spending so much time here that is impossible to */
        /* deliver data to the slaves fast enough, so we force the */
        /* transmission here inside the loop. */
        if (slaves) flushSlavesOutputBuffers();
      }
    }

    if (!keys_freed) return REDIS_ERR; /* nothing to free... */
  }

  return REDIS_OK;
}

8種淘汰策略

  • Redis定義的策略常量(version < 4.0)
/* Redis maxmemory strategies */
 #define REDIS_MAXMEMORY_VOLATILE_LRU 0
 #define REDIS_MAXMEMORY_VOLATILE_TTL 1
 #define REDIS_MAXMEMORY_VOLATILE_RANDOM 2
 #define REDIS_MAXMEMORY_ALLKEYS_LRU 3
 #define REDIS_MAXMEMORY_ALLKEYS_RANDOM 4
 #define REDIS_MAXMEMORY_NO_EVICTION 5
 #define REDIS_DEFAULT_MAXMEMORY_POLICY REDIS_MAXMEMORY_NO_EVICTION

3.0版本提供6種策略:

4.0以上版本增加兩種LFU策略:

volatile-lfu( REDIS_MAXMEMORY_VOLATILE_LFU): Evict using approximated LFU, only keys with an expire set -> 對配置了過期時間的key,淘汰最近使用頻率最少的數據。

allkeys-lfu(REDIS_MAXMEMORY_ALLKEYS_LFU): Evict any key using approximated LFU -> 對所有key,淘汰最近使用頻率最少的數據。

volatile-lru( REDIS_MAXMEMORY_VOLATILE_LRU): Evict using approximated LRU, only keys with an expire set -> 內存不足時,對所有配置了過期時間的key,淘汰最近最少使用的數據。

allkeys-lru(REDIS_MAXMEMORY_ALLKEYS_LRU): Evict any key using approximated LRU -> 內存不足時,對所有key,淘汰最近最少使用的數據。

volatile-random( REDIS_MAXMEMORY_VOLATILE_RANDOM): Remove a random key having an expire set -> 內存不足時,對所有配置了過期時間的key,淘汰隨機數據。

allkeys-random(REDIS_MAXMEMORY_ALLKEYS_RANDOM): Remove a random key, any key -> 內存不足時,對所有key,淘汰隨機數據。

volatile-ttl( REDIS_MAXMEMORY_VOLATILE_TTL): Remove the key with the nearest expire time (minor TTL) -> 內存不足時,對所有配置了過期時間的key,淘汰最近將要過期的數據。

noeviction( REDIS_MAXMEMORY_NO_EVICTION): Don't evict anything, just return an error on write operations -> 不開啟淘汰策略,在不配置淘汰策略的情況下,maxmemory-policy默認等于該值。內存不足時,會拋出異常,寫操作不可用。不同系統存在差異性-具體見?

淘汰策略的選擇

  • 存在冷熱數據區別,即意味著訪問頻率存在較大差異,4.0及以上版本建議選擇allkeys-lfu策略,但要設置lfu-decay-time 計數衰減值,一般默認1,這樣可避免緩存污染現象;3.0及以下版本建議選擇allkeys-lru策略。LFU訪問計數衰減配置
# The counter decay time is the time, in minutes, that must elapse in order
# for the key counter to be divided by two (or decremented if it has a value
# less <= 10).
#
# The default value for the lfu-decay-time is 1. A special value of 0 means to
# decay the counter every time it happens to be scanned.
#
lfu-decay-time 1
  • 若整體訪問頻率較為平衡,則可選擇allkeys-random策略隨機淘汰數據。
  • 存在置頂數據(或者希望一些數據長期被保存) ,4.0及以上版本建議選擇volatile-lfu策略,3.0及以下版本建議選擇volatile-lru策略。對于需要置頂的數據不設置或者設置較長的過期時間,其他數據都設置小于該值的過期時間,以便淘汰非置頂數據。
  • 若希望所有的數據可通過過期時間來判斷其順序,則可選擇volatile-ttl策略。
  • 由于過期刪除策略的存在,對于過期時間的配置,存在額外的expires字典表,是會占用部分Redis內存的。若希望內存可以得到更加高效的利用,可選擇allkeys-lru/allkeys-lfu策略。

Redis在實現淘汰策略時為了更合理的利用內存空間以及保證Redis的高性能,只是幾近于算法的實現機制,其會從性能和可靠性層面做出一些平衡,故并不是完全可靠的。因此我們在實際使用過程中,建議都配置過期時間,主動刪除那些不再使用的數據,以保證內存的高效使用。另外關于LRU和LFU算法,Redis內部在數據結構和實現機制上都做了一定程度的適應性改造

過期策略原理分析

眾所周知,在Redis的實際使用過程中,為了讓可貴的內存得到更高效的利用,我們提倡給每一個key配置合理的過期時間,以避免因內存不足,或因數據量過大而引發的請求響應延遲甚至是不可用等問題。思考:

  • key的刪除是實時的嗎?
  • 是否存在并發和數據一致性問題?
  • 內存空間是有限的,除了過期策略,Redis還有什么其他保障?

過期Key刪除原理

過期時間底層原理

當key設置了過期時間,Redis內部會將這個key帶上過期時間放入過期字典(expires)中,當進行查詢時,會先在過期字典中查詢是否存在該鍵,若存在則與當前UNIX時間戳做對比來進行過期時間判定。

過期時間配置命令如下(即EX|PX|EXAT|PXAT):

# expire: t秒后過期
expire key seconds
# pexpire: t毫秒后過期
pexpire key millseconds
# expireat: 到達具體的時間戳時過期,精確到秒
expireat key timestamp
# pexpireat: 到達具體的時間戳時過期,精確到毫秒
pexpire key millseconds

這四個命令看似有差異,但在RedisDb底層,最終都會轉換成pexpireat指令。內部由db.c/expireGenericCommand函數實現,對外由上面四個指令調用

//expire命令
void expireCommand(redisClient *c) {
  expireGenericCommand(c,mstime(),UNIT_SECONDS);
}
//expireat命令
void expireatCommand(redisClient *c) {
  expireGenericCommand(c,0,UNIT_SECONDS);
}
//pexpire命令
void pexpireCommand(redisClient *c) {
  expireGenericCommand(c,mstime(),UNIT_MILLISECONDS);
}
//pexpireat命令
void pexpireatCommand(redisClient *c) {
  expireGenericCommand(c,0,UNIT_MILLISECONDS);
}

/* This is the generic command implementation for EXPIRE, PEXPIRE, EXPIREAT
* and PEXPIREAT. Because the commad second argument may be relative or absolute
* the "basetime" argument is used to signal what the base time is (either 0
* for *AT variants of the command, or the current time for relative expires).
*/
void expireGenericCommand(redisClient *c, long long basetime, int unit) {
  ...
  /* unix time in milliseconds when the key will expire. */
  long long when; 
  ...
  //如果是秒轉換為毫秒
  if (unit == UNIT_SECONDS) when *= 1000;
  when += basetime;
  ...
}
  • 過期字典內部存儲結構:key表示一個指向具體鍵的指針,value是long類型的毫秒精度的UNIX時間戳。
  • Rediskey過期時間內部流程圖:

圖片圖片

常見刪除方式

  • 定時刪除:在寫入key之后,根據否配置過期時間生成特定的定時器,定時器的執行時間就是具體的過期時間。用CPU性能換去內存存儲空間——即用時間獲取空間
  • 定期刪除:提供一個固定頻率的定時器,執行時掃描所有的key進行過期檢查,滿足條件的就進行刪除。
  • 惰性刪除:數據不做及時釋放,待下一次接收到讀寫請求時,先進行過期檢查,若已過期則直接刪除。用內存存儲空間換取CPU性能——即用空間換取時間

刪除方式

優點

缺點

定時刪除

能及時釋放內存空間,不會產生滯留數據

頻繁生成和銷毀定時器,非常損耗CPU性能,影響響應時間和指令吞吐量

定期刪除

固定的頻率進行過期檢查,對CPU交友好

1.數據量比較大的情況下,會因為全局掃描而損耗CPU性能,且主線程的阻塞會導致其他請求響應延遲。2.未能及時釋放內存空間。3.數據已過期,但定時器未執行時會導致數據不一致。

惰性刪除

節約CPU性能

當某些數據長時間無請求訪問時,會導致數據滯留,使內存無法釋放,占用內存空間,甚至坑導致內存泄漏而引發服務不可用

Redis過期刪除策略

由上述三種常用的刪除方式對比結果可知,單獨的使用任何一種方式都不能達到比較理想的結果,因此Redis的作者在設計過期刪除策略的時候,結合了定期刪除與惰性刪除兩種方式來完成。

定期刪除:內部通過redis.c/activeExpireCycle函數,以一定的頻率運行,每次運行從數據庫中隨機抽取一定數量的key進行過期檢查,若檢查通過,則對該數據進行刪除。在2.6版本中,默認每秒10次,在2.8版本后可通過redis.config配置文件的hz屬性對頻率進行設置,,官方建議數值不要超過100,否則將對CPU性能有重大影響。

# The range is between 1 and 500, however a value over 100 is usually not
# a good idea. Most users should use the default of 10 and raise this up to
# 100 only in environments where very low latency is required.
hz 10

惰性刪除:內部通過redis.c/expireIfNeeded函數,在每次執行讀寫操作指令之前,進行過期檢查。若已設置過期時間且已過期,則刪除該數據。

刪除方式

優點

缺點

Redis定期刪除

避免了全局掃描,每次隨機抽取數據量較少,性能較穩定,執行頻率可配置;避免了惰性刪除低頻數據長時間滯留的問題

存在概率上某些數據一直沒被抽取的情況,導致數據滯留

Redis惰性刪除

解決了定期刪除可能導致的數據滯留現象,性能較高

低頻數據長時間無法釋放

總結:由表格可知,這兩種方式的結合,能很好的解決過期數據滯留內存的問題,同時也很好的保證了數據的一致性,保證了內存使用的高效與CPU的性能

過期刪除策略引起的臟讀現象

  • 在單節點實例模式下,因為Redis是單線程模型,所以過期策略可以保證數據一致性。
  • 在集群模式下,過期刪除策略會引起臟讀現象

數據的刪除在主庫執行,從庫不會執行。對于惰性刪除策略來說,3.2版本以前,從庫讀取數據時哪怕數據已過期還是會返回數據,3.2版本以后,則會返回空。

對于定期刪除策略,由于只是隨機抽取了一定的數據,此時已過期但未被命中刪除的數據在從庫中讀取會出現臟讀現象。

過期時間命令EX|PX,在主從同步時,因為同步需要時間,就會導致主從庫實際過期時間出現偏差。比如主庫設置過期時間60s,但同步全量花費了1分鐘,那么在從庫接收到命令并執行之后,就導致從庫key的過期時間整體跨越了兩分鐘,而此時主庫在一分鐘之前數據就已經過期了。EXAT|PXAT 命令來設置過期時間節點。這樣可避免增量同步的發生。但需注意主從服務器時間一致。

在實際使用過程中,過期時間配置只是一種常規手段,當key的數量在短時間內突增,就有可能導致內存不夠用。此時就需要依賴于Redis內部提供的淘汰策略來進一步的保證服務的可用性。

結語

到這里,我們可得出一個結論:Redis的高性能不僅僅體現在單線程上,還在于內存和數據管理的相輔相成上。除此之外,Redis的多樣化數據結構和vm體系也為其高性能提供了更加有力的支撐,后續我們可以一起研究學習。

責任編輯:武曉燕 來源: 政采云技術
相關推薦

2021-09-10 18:47:22

Redis淘汰策略

2022-07-01 14:20:49

Redis策略函數

2024-09-26 06:30:36

2020-07-17 21:15:08

Redis內存數據庫

2024-10-08 10:13:17

2023-03-14 11:00:05

過期策略Redis

2023-10-16 23:57:35

Redis內存

2019-11-22 09:36:00

Redis數據存儲

2019-11-12 14:15:07

Redis內存持久化

2024-12-25 10:24:31

2021-03-13 14:04:43

Redis內存策略

2019-04-10 10:43:15

Redis內存淘汰策略

2021-03-10 10:40:04

Redis命令Linux

2020-01-15 14:51:04

Redis5.0數據策略

2021-12-23 15:05:46

Redis內存Java

2021-02-23 12:43:39

Redis面試題緩存

2023-05-08 15:59:17

Redis數據刪除

2020-08-18 19:15:44

Redis內存管理

2019-09-27 09:13:55

Redis內存機制

2024-08-19 09:13:02

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美淫| 在线观看免费福利 | 91在线成人 | 国产伦精品一区二区三区照片91 | 国产在线播 | av网站在线看 | 欧美精品久久久 | 中文字幕电影在线观看 | 波多野结衣在线观看一区二区三区 | 久久综合久色欧美综合狠狠 | 中文字幕视频在线看5 | 中文字幕国产 | 亚洲国产精品一区二区久久 | 国产精品视频网 | 99久久99| 成人在线观看免费 | 在线免费观看成年人视频 | 精品1区 | 一级毛片视频免费观看 | 高清欧美性猛交xxxx黑人猛交 | 日韩国产一区二区三区 | 日日天天 | 欧美精品在线播放 | 免费一区二区 | 亚洲一区二区欧美 | 伊人网影院 | 国产精品一区二区在线 | 免费成人高清 | 欧美在线视频网 | 精品美女视频在线观看免费软件 | 男人天堂网址 | 国产精品特级毛片一区二区三区 | 91在线精品播放 | 欧美一区二区三区在线 | 有码在线| 亚洲免费视频播放 | 欧美另类视频 | 国产精彩视频 | 国产成人精品一区二区三区网站观看 | 黄色毛片免费视频 | 久久精品亚洲精品国产欧美 |