NoSQL架構(gòu)實(shí)踐（一）以NoSQL為輔

作者：孫立 2011-03-14 14:59:01

數(shù)據(jù)庫(kù) 其他數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)運(yùn)維

很多朋友看到NoSQL時(shí)總會(huì)有困惑，覺(jué)得很好，但是卻不知道如何正式用到自己的項(xiàng)目中。下文中筆者帶我們看下怎么樣在我們的系統(tǒng)中使用NoSQL。

經(jīng)常有朋友遇到困惑，看到NoSQL的介紹，覺(jué)得很好，但是卻不知道如何正式用到自己的項(xiàng)目中。很大的原因就是思維固定在MySQL中了，他們問(wèn)得最多的問(wèn)題就是用了NoSQL，我如何做關(guān)系查詢(xún)。那么接下來(lái)，我們看下怎么樣在我們的系統(tǒng)中使用NoSQL。

怎么樣把NoSQL引入到我們的系統(tǒng)架構(gòu)設(shè)計(jì)中，需要根據(jù)我們系統(tǒng)的業(yè)務(wù)場(chǎng)景來(lái)分析，什么樣類(lèi)型的數(shù)據(jù)適合存儲(chǔ)在NoSQL數(shù)據(jù)庫(kù)中，什么樣類(lèi)型的數(shù)據(jù)必須使用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)。明確引入的NoSQL數(shù)據(jù)庫(kù)帶給系統(tǒng)的作用，它能解決什么問(wèn)題，以及可能帶來(lái)的新的問(wèn)題。下面我們分析幾種常見(jiàn)的NoSQL架構(gòu)。

（一）NoSQL作為鏡像

不改變?cè)械囊訫ySQL作為存儲(chǔ)的架構(gòu)，使用NoSQL作為輔助鏡像存儲(chǔ)，用NoSQL的優(yōu)勢(shì)輔助提升性能。

圖 1 -NoSQL為鏡像（代碼完成模式）

//寫(xiě)入數(shù)據(jù)的示例偽代碼   
//data為我們要存儲(chǔ)的數(shù)據(jù)對(duì)象   
data.title=”title”;   
data.name=”name”;   
data.time=”2009-12-01 10:10:01”;   
data.from=”1”;   
id=DB.Insert(data);  
//寫(xiě)入MySQL數(shù)據(jù)庫(kù)   
NoSQL.Add(id,data);  
//以寫(xiě)入MySQL產(chǎn)生的自增id為主鍵寫(xiě)入NoSQL數(shù)據(jù)庫(kù)

如果有數(shù)據(jù)一致性要求，可以像如下的方式使用

//寫(xiě)入數(shù)據(jù)的示例偽代碼   
//data為我們要存儲(chǔ)的數(shù)據(jù)對(duì)象   
bool status=false; DB.startTransaction();  
//開(kāi)始事務(wù)   
id=DB.Insert(data);  
//寫(xiě)入MySQL數(shù)據(jù)庫(kù)   
if(id>0){  
     status=NoSQL.Add(id,data);  
//以寫(xiě)入MySQL產(chǎn)生的自增id為主鍵寫(xiě)入NoSQL數(shù)據(jù)庫(kù)  
}   
if(id>0 && status==true){  
     DB.commit();  
//提交事務(wù)  
}else{  
     DB.rollback();  
//不成功，進(jìn)行回滾  
}

上面的代碼看起來(lái)可能覺(jué)得有點(diǎn)麻煩，但是只需要在DB類(lèi)或者ORM層做一個(gè)統(tǒng)一的封裝，就能實(shí)現(xiàn)重用了，其他代碼都不用做任何的修改。

這種架構(gòu)在原有基于MySQL數(shù)據(jù)庫(kù)的架構(gòu)上增加了一層輔助的NoSQL存儲(chǔ)，代碼量不大，技術(shù)難度小，卻在可擴(kuò)展性和性能上起到了非常大的作用。只需要程序在寫(xiě)入MySQL數(shù)據(jù)庫(kù)后，同時(shí)寫(xiě)入到NoSQL數(shù)據(jù)庫(kù)，讓MySQL和NoSQL擁有相同的鏡像數(shù)據(jù)，在某些可以根據(jù)主鍵查詢(xún)的地方，使用高效的NoSQL數(shù)據(jù)庫(kù)查詢(xún)，這樣就節(jié)省了MySQL的查詢(xún)，用NoSQL的高性能來(lái)抵擋這些查詢(xún)。

圖 2 -NoSQL為鏡像（同步模式）

這種不通過(guò)程序代碼，而是通過(guò)MySQL把數(shù)據(jù)同步到NoSQL中，這種模式是上面一種的變體，是一種對(duì)寫(xiě)入透明但是具有更高技術(shù)難度一種模式。這種模式適用于現(xiàn)有的比較復(fù)雜的老系統(tǒng)，通過(guò)修改代碼不易實(shí)現(xiàn)，可能引起新的問(wèn)題。同時(shí)也適用于需要把數(shù)據(jù)同步到多種類(lèi)型的存儲(chǔ)中。

MySQL到NoSQL同步的實(shí)現(xiàn)可以使用MySQL UDF函數(shù)，MySQL binlog的解析來(lái)實(shí)現(xiàn)。可以利用現(xiàn)有的開(kāi)源項(xiàng)目來(lái)實(shí)現(xiàn)，比如：

◆MySQL memcached UDFs：從通過(guò)UDF操作Memcached協(xié)議。
◆國(guó)內(nèi)張宴開(kāi)源的mysql-udf-http：通過(guò)UDF操作http協(xié)議。

有了這兩個(gè)MySQL UDF函數(shù)庫(kù)，我們就能通過(guò)MySQL透明的處理Memcached或者Http協(xié)議，這樣只要有兼容Memcached或者Http協(xié)議的NoSQL數(shù)據(jù)庫(kù)，那么我們就能通過(guò)MySQL去操作以進(jìn)行同步數(shù)據(jù)。再結(jié)合lib_mysqludf_json，通過(guò)UDF和MySQL觸發(fā)器功能的結(jié)合，就可以實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)同步。

（二）MySQL和NoSQL組合

MySQL中只存儲(chǔ)需要查詢(xún)的小字段，NoSQL存儲(chǔ)所有數(shù)據(jù)。

圖 3 -MySQL和NoSQL組合

//寫(xiě)入數(shù)據(jù)的示例偽代碼   
//data為我們要存儲(chǔ)的數(shù)據(jù)對(duì)象   
data.title=”title”;   
data.name=”name”;   
data.time=”2009-12-01 10:10:01”;  
data.from=”1”;  
bool status=false; DB.startTransaction();  
//開(kāi)始事務(wù)   
id=DB.Insert(“INSERT INTO table (from) VALUES(data.from)”);  
//寫(xiě)入MySQL數(shù)據(jù)庫(kù),只寫(xiě)from需要where查詢(xún)的字段   
if(id>0){  
     status=NoSQL.Add(id,data);  
//以寫(xiě)入MySQL產(chǎn)生的自增id為主鍵寫(xiě)入NoSQL數(shù)據(jù)庫(kù)   
}   
if(id>0 && status==true){  
     DB.commit();  
//提交事務(wù)   
}else{  
     DB.rollback();  
//不成功，進(jìn)行回滾   
}

把需要查詢(xún)的字段，一般都是數(shù)字，時(shí)間等類(lèi)型的小字段存儲(chǔ)于MySQL中，根據(jù)查詢(xún)建立相應(yīng)的索引，其他不需要的字段，包括大文本字段都存儲(chǔ)在NoSQL中。在查詢(xún)的時(shí)候，我們先從MySQL中查詢(xún)出數(shù)據(jù)的主鍵，然后從NoSQL中直接取出對(duì)應(yīng)的數(shù)據(jù)即可。

這種架構(gòu)模式把MySQL和NoSQL的作用進(jìn)行了融合，各司其職，讓MySQL專(zhuān)門(mén)負(fù)責(zé)處理擅長(zhǎng)的關(guān)系存儲(chǔ)，NoSQL作為數(shù)據(jù)的存儲(chǔ)。它有以下優(yōu)點(diǎn)：

◆節(jié)省MySQL的IO開(kāi)銷(xiāo)。由于MySQL只存儲(chǔ)需要查詢(xún)的小字段，不再負(fù)責(zé)存儲(chǔ)大文本字段，這樣就可以節(jié)省MySQL存儲(chǔ)的空間開(kāi)銷(xiāo)，從而節(jié)省MySQL的磁盤(pán)IO。我們?cè)?jīng)通過(guò)這種優(yōu)化，把MySQL一個(gè)40G的表縮減到幾百M(fèi)。
◆提高M(jìn)ySQl Query Cache緩存命中率。我們知道query cache緩存失效是表級(jí)的，在MySQL表一旦被更新就會(huì)失效，經(jīng)過(guò)這種字段的分離，更新的字段如果不是存儲(chǔ)在MySQL中，那么對(duì)query cache就沒(méi)有任何影響。而NoSQL的Cache往往都是行級(jí)別的，只對(duì)更新的記錄的緩存失效。
◆提升MySQL主從同步效率。由于MySQL存儲(chǔ)空間的減小，同步的數(shù)據(jù)記錄也減小了，而部分?jǐn)?shù)據(jù)的更新落在NoSQL而不是MySQL，這樣也減少了MySQL數(shù)據(jù)需要同步的次數(shù)。
◆提高M(jìn)ySQL數(shù)據(jù)備份和恢復(fù)的速度。由于MySQL數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)的減小，很容易看到數(shù)據(jù)備份和恢復(fù)的速度也將極大的提高。
◆比以前更容易擴(kuò)展。NoSQL天生就容易擴(kuò)展。經(jīng)過(guò)這種優(yōu)化，MySQL性能也得到提高。

總結(jié)

以NoSQL為輔的架構(gòu)還是以MySQL架構(gòu)的思想為中心，只是在以前的架構(gòu)上輔助增加了NoSQL來(lái)提高其性能和可擴(kuò)展性。這種架構(gòu)實(shí)現(xiàn)起來(lái)比較容易，卻能取得不錯(cuò)的效果。如果正想在項(xiàng)目中引入NoSQL，或者你的以MySQL架構(gòu)的系統(tǒng)目前正出現(xiàn)相關(guān)的瓶頸，希望本文可以為你帶來(lái)幫助。

【編輯推薦】