招行二面:Redis 為什么要 RDB 和 AOF 兩種持久化方式?直接寫日志不行嗎?
這篇文章,我們來分享 Redis是如何實現持久化以及Redis 為什么要采用 RDB 和 AOF兩種持久化方式。
1. 什么是持久化?
持久化,Persistence,把數據(如內存中的對象)保存到可永久保存的存儲設備中(如磁盤)。這樣可以保證程序在服務器宕機后,重新啟動不會丟失數據。
2. 持久化方式
Redis 的持久化方式有兩種:RDB 和 AOF。
(1) RDB
RDB:Redis DataBase,它是將 Redis 在內存中的數據定期或者在指定時間間隔內快照到磁盤上,生成一個RDB文件,該文件包含了Redis在某個時間點上的數據快照。當 Redis 重新啟動時,可以通過加載 RDB 文件來恢復數據。
(2) AOF
AOF:Append Only File,它是將 Redis 執行的每一條寫命令追加到 AOF 文件的末尾,每次 Redis 啟動時重新執行 AOF 文件中的命令,從而重新構建數據集。通過這種方式,可以保證 Redis 的數據不會丟失,但是對于每一次寫操作都需要進行記錄,AOF文件會變得非常大。
實現原理圖如下:
3. RDB原理
Redis DataBase(RDB)是將 Redis 在內存中的數據以二進制的形式定期或者在指定時間間隔內快照到磁盤上,生成一個 RDB 文件,該文件包含了 Redis 在某個時間點上的數據快照。當 Redis 重新啟動時,可以通過加載 RDB 文件來恢復數據。其原理主要分為如下 3個核心流程:
(1) 觸發持久化
Redis支持兩種觸發持久化的方式,一種是根據時間間隔自動觸發持久化,另一種是手動執行 SAVE 或 BGSAVE 命令來觸發持久化。手動執行 BGSAVE 命令可以在 Redis 持續提供服務的同時進行持久化操作,而手動執行 SAVE 命令會阻塞 Redis 的服務進程,直到持久化操作完成,所以生產換進慎用 SAVE 指令。
(2) 生成 RDB文件
當 Redis 觸發持久化操作時,Redis 會 fork 出一個子進程,子進程負責生成 RDB 文件。在生成 RDB 文件的過程中,Redis 會將內存中的數據按照一定的格式寫入到 RDB 文件中,包括鍵值對、過期時間、數據庫號等信息。
(3) 完成持久化
當子進程完成 RDB 文件的生成后,Redis會將原來的RDB文件替換成新生成的RDB文件,從而完成持久化操作。在這個過程中,Redis會阻塞所有寫操作,確保RDB文件的一致性。
Redis Server 自動創建 RDB 文件的默認配置在 redis.conf 里,內容如下:
save 900 1 # 服務器在900s(15分鐘)之內,對數據進行了至少1次修改
save 300 10 #服務器在300s(5分鐘)之內,對數據進行了至少10次修改
save 60 10000 #服務器在60s(1分鐘)之內,對數據進行了至少10000次修改
RDB文件格式由多個部分組成,包括:
- RDB文件頭部:包含"REDIS"字樣的字符串,以及版本號等信息。
- 保存鍵值對數據:鍵值對數據以"SELECTDB"命令開頭,后面跟著一個4字節的整數,表示數據庫編號。然后是若干個鍵值對數據,每個鍵值對包含3部分:鍵的長度、鍵的內容、值的內容。
- 保存過期時間:RDB文件還可以保存鍵值對的過期時間,以便在Redis重啟時自動刪除過期的鍵值對。過期時間以"EXPIRETIME_MS"命令開頭,后面跟著鍵和過期時間等信息。
- RDB文件尾部:包含一個8字節的校驗和,用于檢測RDB文件是否被修改。
以下是一個簡單的 RDB文件示例:
REDIS0006 // RDB文件頭部
SELECTDB 0 // 選擇數據庫0
$3foo$3bar // 鍵為"foo",值為"bar"
$3abc$5hello // 鍵為"abc",值為"hello"
EXPIRETIME_MS $3foo$4 // 設置鍵"foo"的過期時間為4秒
00000000 // RDB文件尾部的校驗和
在讀取RDB文件時,Redis會按照上述格式逐個解析RDB文件的每個部分,并將數據加載到內存中。如果Redis在重啟時檢測到了存在RDB文件,它將讀取RDB文件,并將其中的數據加載到內存中,以便快速恢復數據。
4. AOF 原理
Append Only File(AOF),將 Redis 執行的每一條寫命令追加到 AOF 文件的末尾,每次Redis啟動時重新執行 AOF 文件中的命令,從而重新構建數據集。通過這種方式,可以保證 Redis 的數據不會丟失。
AOF 實現原理核心流程如下:
(1) AOF持久化策略
Redis 支持三種 AOF 持久化策略:
- always:每次執行寫命令時都會將命令追加到AOF文件中。
- everysec:每秒執行一次AOF持久化操作,將一秒鐘內執行的寫命令追加到AOF文件中。
- no:不進行AOF持久化操作。
(2) AOF文件格式
AOF文件的格式是一系列Redis命令的序列化形式,Redis將寫入AOF文件的命令轉換為一系列字符串,并添加到AOF文件的末尾。這些命令包括SET、DEL、INCR等操作,但是對于讀命令,如GET、HGET等操作,Redis不會將其寫入AOF文件。
(3) AOF重寫
AOF重寫是為了解決 AOF 文件過大的問題,它會根據當前內存中的數據重建一個新的 AOF文件,并用新文件替換舊文件。在重寫過程中,Redis會將一段時間內的寫命令重寫為一條SET命令或者DEL命令,從而減小AOF文件的大小。重寫過程中,Redis會使用內存中的數據來生成新的AOF文件,并在生成過程中暫停所有寫操作。
(4) 完成持久化
當Redis觸發AOF持久化操作時,Redis會將內存中的寫命令追加到AOF文件的末尾,然后通過fsync系統調用將寫入的內容強制寫入磁盤,確保數據的安全性。
AOF文件的格式非常簡單,它是一個文本文件,每行都記錄了一條Redis命令。每條命令都以"$"開頭,表示命令長度,接著是命令的具體內容,以"\r\n"結尾。例如,以下是一條SET命令的AOF格式:
$3\r\nSET\r\n$5\r\nmykey\r\n$7\r\nmyvalue\r\n
其中,"表示命令的長度為,表示換行符,5\r\n"表示key的長度為5,"mykey"是key的具體內容,"\r\n"表示換行符,"$7\r\n"表示value的長度為7,"myvalue"是value的具體內容,"\r\n"表示換行符。
在AOF文件中,除了記錄命令外,還有一些特殊的標記,如"*\r\n"表示一次多個命令的操作,"$-1\r\n"表示空值,":0\r\n"表示數字0等。
5. 優缺點
(1) RDB 優缺點
- 優點:對于數據的備份和恢復非常快速,因為它生成的是一個快照文件,不需要對每一條數據進行操作。
- 缺點:如果 Redis 意外宕機,可能會丟失最近一次快照時間點之后的數據。
(2) AOF 優缺點
- 優點:能夠保證數據的完整性,即使 Redis 意外宕機,也可以通過 AOF 文件來恢復數據。
- 缺點:每一次寫操作都需要進行記錄,AOF文件會變得非常大,而且 AOF 重寫操作會占用大量 CPU 和內存資源。
為了兼顧兩種方式的優缺點,Redis提供了兩種混合持久化方式:
- AOF重寫:Redis會在后臺啟動一個進程,重寫 AOF文件,將其中的無效命令刪除,從而縮小AOF文件的大小。
- AOF 和 RDB同時開啟:Redis同時使用 AOF 和 RDB 兩種方式進行持久化,當Redis重啟時,優先使用 AOF 文件來恢復數據,如果 AOF 文件不存在或者損壞,則使用 RDB文件來恢復數據。
6. AOF 重寫機制
AOF重寫機制是Redis用來解決AOF文件過大問題的一種機制。當AOF文件過大時,可以通過 AOF 重寫機制來生成一個新的、緊湊的 AOF 文件,以減小 AOF 文件的大小,提高Redis的性能。
AOF重寫機制的實現原理總結為下面 3步:
(1) 觸發AOF重寫
Redis會周期性地檢查 AOF 文件的大小,如果超過了設定的閾值,就會觸發 AOF 重寫操作。在默認情況下,當 AOF 文件大小超過64MB時,Redis會自動觸發 AOF 重寫操作。如果需要修改閾值,可以通過配置文件中的"auto-aof-rewrite-percentage"和"auto-aof-rewrite-min-size"參數來修改。
(2) 執行AOF重寫
AOF重寫操作是在一個子進程中執行的,它會遍歷內存中的數據結構,將一段時間內的寫命令重寫為一條SET命令或者 DEL命令,并寫入新的 AOF 文件。在重寫過程中,Redis會將新的AOF文件和舊的AOF文件進行比較,如果發現有相同的命令序列,就會將新的AOF文件中的命令序列替換為舊的AOF文件中的命令序列,以減小新AOF文件的大小。
(3) 完成AOF重寫
AOF重寫操作完成后,Redis會將新的AOF文件替換舊的AOF文件,并通過fsync系統調用將寫入的內容強制寫入磁盤,以確保數據的安全性。
AOF重寫機制的優點是可以減小AOF文件的大小,提高Redis的性能,缺點是重寫操作會占用大量CPU和內存資源,如果數據量較大,可能會導致Redis的性能下降。