成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Redis Plus 來了,性能炸裂!

數據庫 Redis
KeyDB項目是從redis fork出來的分支。眾所周知redis是一個單線程的kv內存存儲系統,而KeyDB在100%兼容Redis API的情況下將redis改造成多線程。

KeyDB項目是從Redis fork出來的分支。眾所周知Redis是一個單線程的kv內存存儲系統,而KeyDB在100%兼容Redis API的情況下將Redis改造成多線程。

線程模型

KeyDB將Redis原來的主線程拆分成了主線程和worker線程。每個worker線程都是io線程,負責監聽端口,accept請求,讀取數據和解析協議。如圖所示:

KeyDB使用了SO_REUSEPORT特性,多個線程可以綁定監聽同個端口。

每個worker線程做了cpu綁核,讀取數據也使用了SO_INCOMING_CPU特性,指定cpu接收數據。

解析協議之后每個線程都會去操作內存中的數據,由一把全局鎖來控制多線程訪問內存數據。

主線程其實也是一個worker線程,包括了worker線程的工作內容,同時也包括只有主線程才可以完成的工作內容。在worker線程數組中下標為0的就是主線程。

主線程的主要工作在實現serverCron,包括:

  • 處理統計
  • 客戶端鏈接管理
  • db數據的resize和reshard
  • 處理aof
  • replication主備同步
  • cluster模式下的任務

鏈接管理

在Redis中所有鏈接管理都是在一個線程中完成的。在KeyDB的設計中,每個worker線程負責一組鏈接,所有的鏈接插入到本線程的鏈接列表中維護。鏈接的產生、工作、銷毀必須在同個線程中。每個鏈接新增一個字段。

int iel; /* the event loop index we're registered with */

用來表示鏈接屬于哪個線程接管。

KeyDB維護了三個關鍵的數據結構做鏈接管理:

  • clients_pending_write:線程專屬的鏈表,維護同步給客戶鏈接發送數據的隊列;
  • clients_pending_asyncwrite:線程專屬的鏈表,維護異步給客戶鏈接發送數據的隊列;
  • clients_to_close:全局鏈表,維護需要異步關閉的客戶鏈接。

分成同步和異步兩個隊列,是因為redis有些聯動api,比如pub/sub,pub之后需要給sub的客戶端發送消息,pub執行的線程和sub的客戶端所在線程不是同一個線程,為了處理這種情況,KeyDB將需要給非本線程的客戶端發送數據維護在異步隊列中。同步發送的邏輯比較簡單,都是在本線程中完成,以下圖來說明如何同步給客戶端發送數據:

如上文所提到的,一個鏈接的創建、接收數據、發送數據、釋放鏈接都必須在同個線程執行。異步發送涉及到兩個線程之間的交互。KeyDB通過管道在兩個線程中傳遞消息:

int fdCmdWrite; //寫管道
int fdCmdRead; //讀管道

本地線程需要異步發送數據時,先檢查client是否屬于本地線程,非本地線程獲取到client專屬的線程ID,之后給專屬的線程管到發送AE_ASYNC_OP::CreateFileEvent的操作,要求添加寫socket事件。專屬線程在處理管道消息時將對應的請求添加到寫事件中,如圖所示:

Redis有些關閉客戶端的請求并非完全是在鏈接所在的線程執行關閉,所以在這里維護了一個全局的異步關閉鏈表。

鎖機制

KeyDB實現了一套類似spinlock的鎖機制,稱之為fastlock。

fastlock的主要數據結構有:

struct ticket
{
    uint16_t m_active;  //解鎖+1
    uint16_t m_avail;  //加鎖+1
};
struct fastlock
{
    volatile struct ticket m_ticket;

    volatile int m_pidOwner; //當前解鎖的線程id
    volatile int m_depth; //當前線程重復加鎖的次數
};

使用原子操作__atomic_load_2,__atomic_fetch_add,__atomic_compare_exchange來通過比較m_active=m_avail判斷是否可以獲取鎖。

fastlock提供了兩種獲取鎖的方式:

  • try_lock:一次獲取失敗,直接返回
  • lock:忙等,每1024 * 1024次忙等后使用sched_yield 主動交出cpu,挪到cpu的任務末尾等待執行。

在KeyDB中將try_lock和事件結合起來,來避免忙等的情況發生。每個客戶端有一個專屬的lock,在讀取客戶端數據之前會先嘗試加鎖,如果失敗,則退出,因為數據還未讀取,所以在下個epoll_wait處理事件循環中可以再次處理。

Active-Replica

KeyDB實現了多活的機制,每個replica可設置成可寫非只讀,replica之間互相同步數據。主要特性有:

  • 每個replica有個uuid標志,用來去除環形復制
  • 新增加rreplay API,將增量命令打包成rreplay命令,帶上本地的uuid
  • key,value加上時間戳版本號,作為沖突校驗,如果本地有相同的key且時間戳版本號大于同步過來的數據,新寫入失敗。采用當前時間戳向左移20位,再加上后44位自增的方式來獲取key的時間戳版本號。

項目地址:https://github.com/JohnSully/KeyDB

責任編輯:趙寧寧 來源: 碼猿技術專欄
相關推薦

2025-05-26 04:10:00

2025-02-24 09:10:00

前端VueDOM

2025-06-18 10:02:06

H3前端開發

2025-04-07 03:00:00

SpringBoot數據庫

2023-11-09 08:46:24

2025-05-06 13:42:16

微軟Phi-4模型

2025-02-17 02:00:00

Vue性能Vapor

2022-06-27 09:48:15

H5移動互聯網頁面性能

2025-02-25 09:44:27

PreactReact前端

2016-10-11 11:48:54

iPhone 7

2016-07-29 00:53:58

云計算高性能計算市場

2021-11-29 09:48:35

Redis 對象映射

2022-09-12 08:01:21

GreatSQLMySQL性能

2023-03-13 00:01:10

數據庫性能MySQL

2025-02-12 09:04:20

2024-11-19 08:09:48

2023-09-22 11:48:37

2024-03-12 09:47:10

Redis數據庫
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩欧美中文字幕在线观看 | 国产欧美日韩综合精品一 | 在线国产视频 | 精品国产91 | 成年人在线视频 | 精品国产99| 国产一区二区三区网站 | www.婷婷 | 午夜精品福利视频 | 亚洲iv一区二区三区 | 久久免费福利 | 特黄色一级毛片 | 欧美一区视频 | 午夜av成人| 欧美一级网站 | 免费在线色 | 一区二区三区视频免费看 | 亚洲国产精品一区二区三区 | 免费精品视频在线观看 | 一级做a爰片性色毛片 | 久综合 | 在线看片国产 | 久久精品视频91 | 亚洲欧美成人 | 在线观看亚洲 | 欧美黄色网 | 亚洲国产一区在线 | 国产精品日韩一区二区 | 看亚洲a级一级毛片 | 视频在线观看亚洲 | 国产一区二区三区www | 国产精品观看 | 国产一区不卡 | 久久婷婷麻豆国产91天堂 | 欧美中文字幕一区二区 | 成人免费在线观看 | 久久久婷婷| 黄色三级在线播放 | 国产精品久久国产精品久久 | 日韩欧美在线不卡 | 亚洲综合大片69999 |