成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

58沈劍:用uid分庫,uname上的查詢怎么辦?

開發 開發工具
用戶中心是幾乎每一個公司必備的基礎服務,當數據量越來越大時,需要多用戶中心進行水平切分。用uid分庫,如何高效實現上的查詢,是本文將要討論的問題。

一、緣起

用戶中心是幾乎每一個公司必備的基礎服務,用戶注冊、登錄、信息查詢與修改都離不開用戶中心。

當數據量越來越大時,需要多用戶中心進行水平切分。最常見的水平切分方式,按照uid取模分庫:

按照uid取模分庫

通過uid取模,將數據分布到多個數據庫實例上去,提高服務實例個數,降低單庫數據量,以達到擴容的目的。

水平切分之后:

uid屬性上的查詢可以直接路由到庫

uid屬性上的查詢可以直接路由到庫,如上圖,假設訪問uid=124的數據,取模后能夠直接定位db-user1。

對于uname上的查詢,就不能這么幸運了:

uname上的查詢

uname上的查詢,如上圖,假設訪問uname=shenjian的數據,由于不知道數據落在哪個庫上,往往需要遍歷所有庫【掃全庫法】,當分庫數量多起來,性能會顯著降低。

用uid分庫,如何高效實現上的查詢,是本文將要討論的問題。

索引表法

思路:uid能直接定位到庫,uname不能直接定位到庫,如果通過uname能查詢到uid,問題解決

解決方案:

  • 建立一個索引表記錄uname->uid的映射關系
  • 用uname來訪問時,先通過索引表查詢到uid,再定位相應的庫
  • 索引表屬性較少,可以容納非常多數據,一般不需要分庫
  • 如果數據量過大,可以通過uname來分庫

潛在不足:多一次數據庫查詢,性能下降一倍

緩存映射法

思路:訪問索引表性能較低,把映射關系放在緩存里性能更佳

解決方案:

  • uname查詢先到cache中查詢uid,再根據uid定位數據庫
  • 假設cache miss,采用掃全庫法獲取uname對應的uid,放入cache
  • uname到uid的映射關系不會變化,映射關系一旦放入緩存,不會更改,無需淘汰,緩存命中率超高
  • 如果數據量過大,可以通過name進行cache水平切分

潛在不足:多一次cache查詢

uname生成uid

思路:不進行遠程查詢,由uname直接得到uid

解決方案:

  • 在用戶注冊時,設計函數uname生成uid,uid=f(uname),按uid分庫插入數據
  • 用uname來訪問時,先通過函數計算出uid,即uid=f(uname)再來一遍,由uid路由到對應庫

潛在不足:該函數設計需要非常講究技巧,有uid生成沖突風險

uname基因融入uid

思路:不能用uname生成uid,可以從uname抽取“基因”,融入uid中

uname基因融入uid

假設分8庫,采用uid%8路由,潛臺詞是,uid的最后3個bit決定這條數據落在哪個庫上,這3個bit就是所謂的“基因”。

解決方案:

  • 在用戶注冊時,設計函數uname生成3bit基因,uname_gene=f(uname),如上圖粉色部分
  • 同時,生成61bit的全局唯一id,作為用戶的標識,如上圖綠色部分
  • 接著把3bit的uname_gene也作為uid的一部分,如上圖屎黃色部分
  • 生成64bit的uid,由id和uname_gene拼裝而成,并按照uid分庫插入數據
  • 用uname來訪問時,先通過函數由uname再次復原3bit基因,uname_gene=f(uname),通過uname_gene%8直接定位到庫

總結

業務場景:用戶中心,數據量大,通過uid分庫后,通過uname路由不到庫

解決方案:

  • 掃全庫法:遍歷所有庫
  • 索引表法:數據庫中記錄uname->uid的映射關系
  • 緩存映射法:緩存中記錄uname->uid的映射關系
  • uname生成uid
  • uname基因融入uid

【本文為51CTO專欄作者“58沈劍”原創稿件,轉載請聯系原作者】

戳這里,看該作者更多好文

責任編輯:趙寧寧 來源: 51CTO專欄
相關推薦

2021-06-04 10:56:32

分庫數據庫查詢

2025-04-14 08:30:00

架構分庫查詢

2025-01-15 07:51:55

2017-03-24 14:46:50

數據架構數據庫

2017-02-10 11:26:39

數據庫擴容架構

2015-10-27 10:33:03

架構設計演進

2017-03-23 23:04:03

2018-03-15 11:23:59

微服務架構實踐

2020-12-18 09:23:41

KubernetesDocker

2018-06-14 21:47:46

WOT沈劍58速運

2022-07-28 07:49:29

數據庫分頁查詢

2012-12-18 15:33:44

遞歸數據并行計算

2019-10-12 09:50:46

Redis內存數據庫

2018-01-28 20:39:39

戴爾

2022-07-05 11:48:47

MySQL死鎖表鎖

2009-11-03 08:56:02

linux死機操作系統

2024-04-22 08:17:23

MySQL誤刪數據

2022-12-19 11:31:57

緩存失效數據庫

2017-02-21 13:11:43

SDN網絡體系SDN架構

2022-05-19 08:01:49

PostgreSQL數據庫
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美日韩最新 | 最新国产精品 | 久久精品国产99国产精品 | 美女福利网站 | 亚洲国产视频一区二区 | xxxxx黄色片 欧美一区免费 | 国产精品毛片一区二区三区 | 午夜精品久久久久久久星辰影院 | 国产第一页在线观看 | 一级黄色片毛片 | 亚洲高清三级 | 亚洲欧美第一视频 | 久久一区二区三区四区 | 毛片在线看看 | 日韩久久网| 国产精品a久久久久 | 亚洲欧美日韩在线不卡 | 99久久精品一区二区毛片吞精 | 成人国产网站 | 久久久久成人精品 | 国产精品国产精品国产专区不片 | 91在线精品一区二区 | 国产一区二区三区免费观看在线 | 欧美精品在线播放 | 色站综合| 日韩激情网| 九九热在线视频观看这里只有精品 | 久久国产精品网 | 国产精彩视频在线观看 | 特黄一级| 91精品久久久久久久久 | 黄在线免费观看 | 欧美色欧美亚洲另类七区 | av黄色在线 | 高清视频一区二区三区 | 综合久久亚洲 | 欧美成人激情 | 色在线免费 | 国产欧美在线观看 | 午夜视频在线播放 | 成人黄色电影在线播放 |