成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

緩存和數(shù)據(jù)庫到底先寫哪個?這次整明白了!

數(shù)據(jù)庫
你要用緩存,就不得不面對緩存和數(shù)據(jù)庫不一致的問題,解決這種不一致有通用設(shè)計模式(其實不僅僅是數(shù)據(jù)庫上的應(yīng)用),陳皓這篇文章講的比較全面。

大型高并發(fā)的后端服務(wù)系統(tǒng),處理瓶頸往往是數(shù)據(jù)庫,比如mysql的查詢寫入。

為了能夠快速響應(yīng)用戶請求,系統(tǒng)優(yōu)化自然會想到利用緩存加快處理速度,常用的比如redis,性能非常高的緩存數(shù)據(jù)庫。redis搭配mysql一起使用,絕配。

但,沒有免費的午餐,你要用緩存,就不得不面對緩存和數(shù)據(jù)庫不一致的問題,解決這種不一致有通用設(shè)計模式(其實不僅僅是數(shù)據(jù)庫上的應(yīng)用),陳皓這篇文章講的比較全面。

以下是原文,侵刪:

看到好些人在寫更新緩存數(shù)據(jù)代碼時,先刪除緩存,然后再更新數(shù)據(jù)庫,而后續(xù)的讀操作會把數(shù)據(jù)再裝載的緩存中。然而,這個是邏輯是錯誤的。試想,兩個并發(fā)操作,一個是更新操作,另一個是查詢操作,更新操作刪除緩存后,查詢操作沒有命中緩存,先把老數(shù)據(jù)讀出來后放到緩存中,然后更新操作更新了數(shù)據(jù)庫。于是,在緩存中的數(shù)據(jù)還是老的數(shù)據(jù),導(dǎo)致緩存中的數(shù)據(jù)是臟的,而且還一直這樣臟下去了。

我不知道為什么這么多人用的都是這個邏輯,當(dāng)我在微博上發(fā)了這個貼以后,我發(fā)現(xiàn)好些人給了好多非常復(fù)雜和詭異的方案,所以,我想寫這篇文章說一下幾個緩存更新的Design Pattern(讓我們多一些套路吧)。

這里,我們先不討論更新緩存和更新數(shù)據(jù)這兩個事是一個事務(wù)的事,或是會有失敗的可能,我們先假設(shè)更新數(shù)據(jù)庫和更新緩存都可以成功的情況(我們先把成功的代碼邏輯先寫對)。

更新緩存的的Design Pattern有四種:Cache aside, Read through, Write through, Write behind caching,我們下面一一來看一下這四種Pattern。

Cache Aside Pattern

這是最常用最常用的pattern了。其具體邏輯如下:

失效:應(yīng)用程序先從cache取數(shù)據(jù),沒有得到,則從數(shù)據(jù)庫中取數(shù)據(jù),成功后,放到緩存中。命中:應(yīng)用程序從cache中取數(shù)據(jù),取到后返回。更新:先把數(shù)據(jù)存到數(shù)據(jù)庫中,成功后,再讓緩存失效。Cache-Aside-Design-Pat

注意,我們的更新是先更新數(shù)據(jù)庫,成功后,讓緩存失效。那么,這種方式是否可以沒有文章前面提到過的那個問題呢?我們可以腦補(bǔ)一下。

一個是查詢操作,一個是更新操作的并發(fā),首先,沒有了刪除cache數(shù)據(jù)的操作了,而是先更新了數(shù)據(jù)庫中的數(shù)據(jù),此時,緩存依然有效,所以,并發(fā)的查詢操作拿的是沒有更新的數(shù)據(jù),但是,更新操作馬上讓緩存的失效了,后續(xù)的查詢操作再把數(shù)據(jù)從數(shù)據(jù)庫中拉出來。而不會像文章開頭的那個邏輯產(chǎn)生的問題,后續(xù)的查詢操作一直都在取老的數(shù)據(jù)。

這是標(biāo)準(zhǔn)的design pattern,包括Facebook的論文《Scaling Memcache at Facebook》也使用了這個策略。為什么不是寫完數(shù)據(jù)庫后更新緩存?你可以看一下Quora上的這個問答《Why does Facebook use delete to remove the key-value pair in Memcached instead of updating the Memcached during write request to the backend?》,主要是怕兩個并發(fā)的寫操作導(dǎo)致臟數(shù)據(jù)。

那么,是不是Cache Aside這個就不會有并發(fā)問題了?不是的,比如,一個是讀操作,但是沒有命中緩存,然后就到數(shù)據(jù)庫中取數(shù)據(jù),此時來了一個寫操作,寫完數(shù)據(jù)庫后,讓緩存失效,然后,之前的那個讀操作再把老的數(shù)據(jù)放進(jìn)去,所以,會造成臟數(shù)據(jù)。

但,這個case理論上會出現(xiàn),不過,實際上出現(xiàn)的概率可能非常低,因為這個條件需要發(fā)生在讀緩存時緩存失效,而且并發(fā)著有一個寫操作。而實際上數(shù)據(jù)庫的寫操作會比讀操作慢得多,而且還要鎖表,而讀操作必需在寫操作前進(jìn)入數(shù)據(jù)庫操作,而又要晚于寫操作更新緩存,所有的這些條件都具備的概率基本并不大。

所以,這也就是Quora上的那個答案里說的,要么通過2PC或是Paxos協(xié)議保證一致性,要么就是拼命的降低并發(fā)時臟數(shù)據(jù)的概率,而Facebook使用了這個降低概率的玩法,因為2PC太慢,而Paxos太復(fù)雜。當(dāng)然,最好還是為緩存設(shè)置上過期時間。

Read/Write Through Pattern

我們可以看到,在上面的Cache Aside套路中,我們的應(yīng)用代碼需要維護(hù)兩個數(shù)據(jù)存儲,一個是緩存(Cache),一個是數(shù)據(jù)庫(Repository)。所以,應(yīng)用程序比較啰嗦。而Read/Write Through套路是把更新數(shù)據(jù)庫(Repository)的操作由緩存自己代理了,所以,對于應(yīng)用層來說,就簡單很多了。可以理解為,應(yīng)用認(rèn)為后端就是一個單一的存儲,而存儲自己維護(hù)自己的Cache。

Read Through

Read Through 套路就是在查詢操作中更新緩存,也就是說,當(dāng)緩存失效的時候(過期或LRU換出),Cache Aside是由調(diào)用方負(fù)責(zé)把數(shù)據(jù)加載入緩存,而Read Through則用緩存服務(wù)自己來加載,從而對應(yīng)用方是透明的。

Write Through

Write Through 套路和Read Through相仿,不過是在更新數(shù)據(jù)時發(fā)生。當(dāng)有數(shù)據(jù)更新的時候,如果沒有命中緩存,直接更新數(shù)據(jù)庫,然后返回。如果命中了緩存,則更新緩存,然后再由Cache自己更新數(shù)據(jù)庫(這是一個同步操作)

下圖自來Wikipedia的Cache詞條。其中的Memory你可以理解為就是我們例子里的數(shù)據(jù)庫。

Write Behind Caching Pattern

Write Behind 又叫 Write Back。一些了解Linux操作系統(tǒng)內(nèi)核的同學(xué)對write back應(yīng)該非常熟悉,這不就是Linux文件系統(tǒng)的Page Cache的算法嗎?是的,你看基礎(chǔ)這玩意全都是相通的。所以,基礎(chǔ)很重要,我已經(jīng)不是一次說過基礎(chǔ)很重要這事了。

Write Back套路,一句說就是,在更新數(shù)據(jù)的時候,只更新緩存,不更新數(shù)據(jù)庫,而我們的緩存會異步地批量更新數(shù)據(jù)庫。這個設(shè)計的好處就是讓數(shù)據(jù)的I/O操作飛快無比(因為直接操作內(nèi)存嘛 ),因為異步,write backg還可以合并對同一個數(shù)據(jù)的多次操作,所以性能的提高是相當(dāng)可觀的。

但是,其帶來的問題是,數(shù)據(jù)不是強(qiáng)一致性的,而且可能會丟失(我們知道Unix/Linux非正常關(guān)機(jī)會導(dǎo)致數(shù)據(jù)丟失,就是因為這個事)。在軟件設(shè)計上,我們基本上不可能做出一個沒有缺陷的設(shè)計,就像算法設(shè)計中的時間換空間,空間換時間一個道理,有時候,強(qiáng)一致性和高性能,高可用和高性性是有沖突的。軟件設(shè)計從來都是取舍Trade-Off。

另外,Write Back實現(xiàn)邏輯比較復(fù)雜,因為他需要track有哪數(shù)據(jù)是被更新了的,需要刷到持久層上。操作系統(tǒng)的write back會在僅當(dāng)這個cache需要失效的時候,才會被真正持久起來,比如,內(nèi)存不夠了,或是進(jìn)程退出了等情況,這又叫l(wèi)azy write。

在wikipedia上有一張write back的流程圖,基本邏輯如下:

再多嘮叨一些 1)上面講的這些Design Pattern,其實并不是軟件架構(gòu)里的mysql數(shù)據(jù)庫和memcache/redis的更新策略,這些東西都是計算機(jī)體系結(jié)構(gòu)里的設(shè)計,比如CPU的緩存,硬盤文件系統(tǒng)中的緩存,硬盤上的緩存,數(shù)據(jù)庫中的緩存?;旧蟻碚f,這些緩存更新的設(shè)計模式都是非常老古董的,而且歷經(jīng)長時間考驗的策略,所以這也就是,工程學(xué)上所謂的Best Practice,遵從就好了。

2)有時候,我們覺得能做宏觀的系統(tǒng)架構(gòu)的人一定是很有經(jīng)驗的,其實,宏觀系統(tǒng)架構(gòu)中的很多設(shè)計都來源于這些微觀的東西。比如,云計算中的很多虛擬化技術(shù)的原理,和傳統(tǒng)的虛擬內(nèi)存不是很像么?Unix下的那些I/O模型,也放大到了架構(gòu)里的同步異步的模型,還有Unix發(fā)明的管道不就是數(shù)據(jù)流式計算架構(gòu)嗎?TCP的好些設(shè)計也用在不同系統(tǒng)間的通訊中,仔細(xì)看看這些微觀層面,你會發(fā)現(xiàn)有很多設(shè)計都非常精妙……所以,請允許我在這里放句觀點鮮明的話——如果你要做好架構(gòu),首先你得把計算機(jī)體系結(jié)構(gòu)以及很多老古董的基礎(chǔ)技術(shù)吃透了。

3)在軟件開發(fā)或設(shè)計中,我非常建議在之前先去參考一下已有的設(shè)計和思路,看看相應(yīng)的guideline,best practice或design pattern,吃透了已有的這些東西,再決定是否要重新發(fā)明輪子。千萬不要似是而非地,想當(dāng)然的做軟件設(shè)計。

4)上面,我們沒有考慮緩存(Cache)和持久層(Repository)的整體事務(wù)的問題。比如,更新Cache成功,更新數(shù)據(jù)庫失敗了怎么嗎?或是反過來。關(guān)于這個事,如果你需要強(qiáng)一致性,你需要使用“兩階段提交協(xié)議”——prepare, commit/rollback,比如Java 7 的XAResource,還有MySQL 5.7的 XA Transaction,有些cache也支持XA,比如EhCache。當(dāng)然,XA這樣的強(qiáng)一致性的玩法會導(dǎo)致性能下降,關(guān)于分布式的事務(wù)的相關(guān)話題,你可以看看《分布式系統(tǒng)的事務(wù)處理》一文。

以上,就是陳皓大佬的文章,站在大佬的肩膀上,lemon 也有些思考,作者一開始就提出:

先刪除緩存,然后再更新數(shù)據(jù)庫,而后續(xù)的操作會把數(shù)據(jù)再裝載的緩存中。然而,這個是邏輯是錯誤的。

隨后提出的 Facebook 采用的Cache Aside Pattern 的最佳實踐,其實本質(zhì)上是?先更新數(shù)據(jù)庫,后刪緩存?,雖然有可能出錯,但概率比較低,更能被接受。

暫且不說這個結(jié)論對不對,咱們自己對比下,這兩種一致性策略:

? 先更新數(shù)據(jù)庫,再刪除緩存。就是前面的 Cache aside

? 先刪除緩存,再更新數(shù)據(jù)庫

有人要問了,為什么都是刪除緩存,而不是更新呢?

因為更新麻煩呀!還容易出錯,不如直接刪除。而且你每次更新完,后面不一定有請求來讀,浪費時間。還不如讓后續(xù)讀請求來更新,簡單高效,這和 Linux 進(jìn)程復(fù)制的 copy on write 有異曲同工之妙。

其實,誰好誰壞,選擇哪一個,并沒有那么絕對,兩種策略在并發(fā)情況下,都存在不一致的可能。目前工程應(yīng)用上,對?先刪除緩存,再更新數(shù)據(jù)庫?有兩個主要優(yōu)化:

  1. 延時雙刪(「緩存刪了又怕被污染,延時再刪一次」)
  2. 異步更新緩存(「基于訂閱binlog的同步機(jī)制,阿里的canal、騰訊的Mysync,并發(fā)緩存更新串行化」)

通過這些措施,?先刪除緩存,再更新數(shù)據(jù)庫? ,也能滿足業(yè)務(wù)的一致性要求,所以,沒有完美的解決方案,只有適合業(yè)務(wù)場景,最終選擇哪個,是在一致性和性能之間的Trade-Off,或者,老板說哪個好,我就用哪個。

責(zé)任編輯:龐桂玉 來源: 數(shù)據(jù)庫開發(fā)
相關(guān)推薦

2020-09-29 06:44:28

Redis延時隊列

2020-10-26 07:02:11

ConcurrentH存儲

2025-05-29 01:00:00

數(shù)據(jù)架構(gòu)大數(shù)據(jù)數(shù)據(jù)湖

2020-10-15 07:51:57

緩存數(shù)據(jù)庫

2020-12-09 11:38:16

數(shù)據(jù)庫測試環(huán)境

2024-11-15 09:29:12

2023-04-26 01:17:16

惡意注冊Java驗證

2018-08-08 09:50:36

2018-08-21 22:12:50

2023-02-27 08:10:16

2021-03-19 07:40:22

緩存數(shù)據(jù)庫日志

2022-03-29 10:39:10

緩存數(shù)據(jù)庫數(shù)據(jù)

2024-10-28 12:41:25

2019-11-14 16:04:19

數(shù)據(jù)信息算法

2020-06-03 15:39:38

數(shù)據(jù)算法統(tǒng)計

2021-11-07 21:01:52

云計算數(shù)據(jù)庫分布式

2023-04-03 07:23:06

Java線程通信

2022-08-15 19:24:35

圖數(shù)據(jù)庫圖計算搜索

2020-06-11 08:39:55

數(shù)據(jù)庫存儲技術(shù)

2020-11-23 16:42:38

數(shù)據(jù)庫MySQL技術(shù)
點贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 国产精品久久久久久 | 免费看一区二区三区 | 国产欧美一区二区三区久久 | 精品国产乱码久久久久久丨区2区 | 日本成人中文字幕 | 久久久久久亚洲 | 精品一区二区三区四区 | 福利av在线 | 一区二区视屏 | 日韩欧美精品 | 鸳鸯谱在线观看高清 | 国产成人精品一区二区 | 欧美黄在线观看 | 国产日韩久久久久69影院 | 久久精品 | 亚洲第一天堂无码专区 | 亚洲欧美在线观看 | 在线播放日韩 | 精品国产一区二区三区久久 | 天堂成人国产精品一区 | 国产亚洲精品成人av久久ww | 香蕉一区| 老牛嫩草一区二区三区av | 亚洲国产精品久久久久婷婷老年 | 中文天堂在线观看 | 亚洲啊v在线 | 日韩亚洲一区二区 | 午夜一区二区三区在线观看 | 国产一区二区三区在线 | 男女羞羞视频在线 | 亚洲视频中文字幕 | 91在线免费视频 | 老司机67194精品线观看 | 一区二区国产在线观看 | 国产免费va | 成人免费视频网站在线看 | 黄色毛片在线观看 | 欧美一区二区免费视频 | 国产一区二区三区在线 | 久久久精品视频一区二区三区 | av中文在线 |