MySQL多版本并發(fā)控制機(jī)制(MVCC)源碼淺析
前言
作為一個(gè)數(shù)據(jù)庫(kù)愛(ài)好者,自己動(dòng)手寫(xiě)過(guò)簡(jiǎn)單的SQL解析器以及存儲(chǔ)引擎,但感覺(jué)還是不夠過(guò)癮。<<事務(wù)處理-概念與技術(shù)>>誠(chéng)然講的非常透徹,但只能提綱挈領(lǐng),不能讓你玩轉(zhuǎn)某個(gè)真正的數(shù)據(jù)庫(kù)。感謝cmake,能夠讓我在mac上用xcode去debug MySQL,從而能去領(lǐng)略它的各種實(shí)現(xiàn)細(xì)節(jié)。
筆者一直對(duì)數(shù)據(jù)庫(kù)的隔離性很好奇,此篇博客就是我debug MySQL過(guò)程中的偶有所得。
(注:本文的MySQL采用的是MySQL-5.6.35版本)
MVCC(多版本并發(fā)控制機(jī)制)
隔離性也可以被稱作并發(fā)控制、可串行化等。談到并發(fā)控制首先想到的就是鎖,MySQL通過(guò)使用兩階段鎖的方式實(shí)現(xiàn)了更新的可串行化,同時(shí)為了加速查詢性能,采用了MVCC(Multi Version Concurrency Control)的機(jī)制,使得不用鎖也可以獲取一致性的版本。
Repeatable Read
MySQL的通過(guò)MVCC以及(Next-Key Lock)實(shí)現(xiàn)了可重復(fù)讀(Repeatable Read),其思想(MVCC)就是記錄數(shù)據(jù)的版本變遷,通過(guò)精巧的選擇不同數(shù)據(jù)的版本從而能夠?qū)τ脩舫尸F(xiàn)一致的結(jié)果。如下圖所示:
上圖中,(A=50|B=50)的初始版本為1。
1.事務(wù)t1在select A時(shí)候看到的版本為1,即A=50
2.事務(wù)t2對(duì)A和B的修改將版本升級(jí)為2,即A=0,B=100
3.事務(wù)t1再此select B的時(shí)候看到的版本還是1, 即B=50
這樣就隔離了版本的影響,A+B始終為100。
Read Commit
而如果不通過(guò)版本控制機(jī)制,而是讀到最近提交的結(jié)果的話,則隔離級(jí)別是read commit,如下圖所示:
在這種情況下,就需要使用鎖機(jī)制(例如select for update)將此A,B記錄鎖住,從而獲得正確的一致結(jié)果,如下圖所示:
MVCC的優(yōu)勢(shì)
當(dāng)我們要對(duì)一些數(shù)據(jù)做一些只讀操作來(lái)檢查一致性,例如檢查賬務(wù)是否對(duì)齊的操作時(shí)候,并不希望加上對(duì)性能損耗很大的鎖。這時(shí)候MVCC的一致性版本就有很大的優(yōu)勢(shì)了。
MVCC(實(shí)現(xiàn)機(jī)制)
本節(jié)就開(kāi)始談?wù)凪VCC的實(shí)現(xiàn)機(jī)制,注意MVCC僅僅在純select時(shí)有效(不包括select for update,lock in share mode等加鎖操作,以及updateinsert等)。
select運(yùn)行棧
首先我們追蹤一下一條普通的查詢sql在mysql源碼中的運(yùn)行過(guò)程,sql為(select * from test);
其運(yùn)行棧為:
由于mysql默認(rèn)隔離級(jí)別是repeatable_read(RR),所以read_record重載為 rr_sequential(當(dāng)前我們并不關(guān)心select通過(guò)index掃描出row之后再通過(guò)condition過(guò)濾的過(guò)程)。繼續(xù)追蹤:
讓我們看下該函數(shù)內(nèi)部:
- bool lock_clust_rec_cons_read_sees(const rec_t* rec /*由innodb掃描出來(lái)的一行*/,....){
- ...
- // 從當(dāng)前掃描的行中獲取其***修改的版本trx_id(事務(wù)id)
- trx_id = row_get_rec_trx_id(rec, index, offsets);
- // 通過(guò)參數(shù)(一致性快照視圖和事務(wù)id)決定看到的行快照
- return(read_view_sees_trx_id(view, trx_id));
- }
read_view的創(chuàng)建過(guò)程
我們先關(guān)注一致性視圖的創(chuàng)建過(guò)程,我們先看下read_view結(jié)構(gòu):
然后通過(guò)debug,發(fā)現(xiàn)創(chuàng)建read_view結(jié)構(gòu)也是在上述的rr_sequential中操作的,繼續(xù)跟蹤調(diào)用棧:
我們看下row_search_for_mysql里的一個(gè)分支:
- row_search_for_mysql:
- // 這邊只有select不加鎖模式的時(shí)候才會(huì)創(chuàng)建一致性視圖
- else if (prebuilt->select_lock_type == LOCK_NONE) { // 創(chuàng)建一致性視圖
- trx_assign_read_view(trx);
- prebuilt->sql_stat_start = FALSE;
- }
上面的注釋就是select for update(in share model)不會(huì)走M(jìn)VCC的原因。讓我們進(jìn)一步分析trx_assign_read_view函數(shù):
好了,終于到了創(chuàng)建read_view的主要階段,主要過(guò)程如下圖所示:
代碼過(guò)程為:
行版本可見(jiàn)性:
由上面的lock_clust_rec_cons_read_sees可知,行版本可見(jiàn)性由read_view_sees_trx_id函數(shù)判斷:
其實(shí)上述函數(shù)就是一個(gè)二分法,read_view其實(shí)保存的是當(dāng)前活躍事務(wù)的所有事務(wù)id,如果當(dāng)前行版本對(duì)應(yīng)修改的事務(wù)id不在當(dāng)前活躍事務(wù)里面的話,就返回true,表示當(dāng)前版本可見(jiàn),否則就是不可見(jiàn),如下圖所示。
接上述lock_clust_rec_cons_read_sees的返回:
undolog搜索可見(jiàn)版本的過(guò)程
我們現(xiàn)在考察一下row_sel_build_prev_vers_for_mysql函數(shù):
- row_sel_build_prev_vers_for_mysql
- |-row_vers_build_for_consistent_read
主要是調(diào)用了row_ver_build_for_consistent_read方法返回可見(jiàn)版本:
整個(gè)過(guò)程如下圖所示:
至于undolog怎么恢復(fù)出對(duì)應(yīng)版本的row記錄就又是一個(gè)復(fù)雜的過(guò)程了,由于篇幅原因,在此略過(guò)不表。
read_view創(chuàng)建時(shí)機(jī)再討論
在創(chuàng)建一致性視圖的row_search_for_mysql的代碼中
trx_assign_read_view中由這么一段代碼
所以綜合這兩段代碼,即在一個(gè)事務(wù)中,只有***次運(yùn)行select(不加鎖)的時(shí)候才會(huì)創(chuàng)建一致性視圖,如下圖所示:
筆者構(gòu)造了此種場(chǎng)景模擬過(guò),確實(shí)如此。
MVCC和鎖的同時(shí)作用導(dǎo)致的一些現(xiàn)象
MySQL是通過(guò)MVCC和二階段鎖(2PL)來(lái)兼顧性能和一致性的,但是由于MySQL僅僅在select時(shí)候才創(chuàng)建一致性視圖,而在update等加鎖操作的時(shí)候并不做如此操作,所以就會(huì)產(chǎn)生一些詭異的現(xiàn)象。如下圖所示:
如果理解了update不走一致性視圖(read_view),而select走一致性視圖(read_view),就可以很好解釋這個(gè)現(xiàn)象。 如下圖所示:
總結(jié)
MySQL為了兼顧性能和ACID使用了大量復(fù)雜的機(jī)制,2PL(兩階段鎖)和MVCC就是其實(shí)現(xiàn)的典型。幸好可以通過(guò)xcode等IDE進(jìn)行方便的debug,這樣就可以非常精確加便捷的追蹤其各種機(jī)制的實(shí)現(xiàn)。希望這篇文章能夠幫助到喜歡研究MySQL源碼的讀者們。