如何使用Percona Toolkit解決Mysql主從不同步問題
由于各種原因，mysql主從架構(gòu)經(jīng)常會出現(xiàn)數(shù)據(jù)不一致的情況出現(xiàn)，大致歸結(jié)為如下幾類
- 1:備庫寫數(shù)據(jù)
- 2:執(zhí)行non-deterministic query
- 3:回滾摻雜事務(wù)表和非事務(wù)表的事務(wù)
- 4:binlog或者relay log數(shù)據(jù)損壞
數(shù)據(jù)不同步給應(yīng)用帶來的危害是致命的，當出現(xiàn)主從數(shù)據(jù)不一致的情況，常見的應(yīng)對方法是先把從庫下線，然后找個半夜三更的時間把應(yīng)用停掉，重新執(zhí)行同步，如果數(shù)據(jù)庫的體積十分龐大，那工作量可想而知，會讓人崩潰。本文介紹使用percona-toolkit工具對mysql主從數(shù)據(jù)庫的同步狀態(tài)進行檢查和重新同步。
一：安裝percona-toolkit
- # yum -y install perl-Time-HiRes
- # wget
- http://www.percona.com/downloads/percona-toolkit/2.2.13/tarball/percona-toolkit-2.2.13.tar.gz
- # tar -zxvpf percona-toolkit-2.2.13.tar.gz
- # cd percona-toolkit-2.2.13
- # perl Makefile.PL
- # make
- # make install
二：修改mysql 的binlog格式binlog_format參數(shù)為row格式
mysql binlog日志有三種格式，分別為Statement, Mixed,以及ROW！
1.Statement：
每一條會修改數(shù)據(jù)的sql都會記錄在binlog中。
優(yōu)點：不需要記錄每一行的變化，減少了binlog日志量，節(jié)約了IO，提高性能。(相比row能節(jié)約多少性能與日志量，這個取決于應(yīng)用的SQL情況，正常同一條記錄修改或者插入row格式所產(chǎn)生的日志量還小于Statement產(chǎn)生的日志量，但是考慮到如果帶條件的update操作，以及整表刪除，alter表等操作，ROW格式會產(chǎn)生大量日志，因此在考慮是否使用ROW格式日志時應(yīng)該跟據(jù)應(yīng)用的實際情況，其所產(chǎn)生的日志量會增加多少，以及帶來的IO性能問題。)
缺點：由于記錄的只是執(zhí)行語句，為了這些語句能在slave上正確運行，因此還必須記錄每條語句在執(zhí)行的時候的一些相關(guān)信息，以保證所有語句能在slave得到和在master端執(zhí)行時候相同 的結(jié)果。另外mysql 的復制,像一些特定函數(shù)功能，slave可與master上要保持一致會有很多相關(guān)問題(如sleep()函數(shù)， last_insert_id()，以及user-defined functions(udf)會出現(xiàn)問題).
2.Row
不記錄sql語句上下文相關(guān)信息，僅保存哪條記錄被修改。
優(yōu)點： binlog中可以不記錄執(zhí)行的sql語句的上下文相關(guān)的信息，僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內(nèi)容會非常清楚的記錄下每一行數(shù)據(jù)修改的細節(jié)。而且不會出現(xiàn)某些特定情況下的存儲過程，或function，以及trigger的調(diào)用和觸發(fā)無法被正確復制的問題
缺點:所有的執(zhí)行的語句當記錄到日志中的時候，都將以每行記錄的修改來記錄，這樣可能會產(chǎn)生大量的日志內(nèi)容,比如一條update語句，修改多條記錄，則binlog中每一條修改都會有記錄，這樣造成binlog日志量會很大，特別是當執(zhí)行alter table之類的語句的時候，由于表結(jié)構(gòu)修改，每條記錄都發(fā)生改變，那么該表每一條記錄都會記錄到日志中。
3.Mixed
是以上兩種level的混合使用，一般的語句修改使用statment格式保存binlog，如一些函數(shù)，statement無法完成主從復制的操作，則采用row格式保存binlog,MySQL會根據(jù)執(zhí)行的每一條具體的sql語句來區(qū)分對待記錄的日志形式，也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被做了優(yōu)化，并不是所有的修改都會以row level來記錄，像遇到表結(jié)構(gòu)變更的時候就會以statement模式來記錄。至于update或者delete等修改數(shù)據(jù)的語句，還是會記錄所有行的變更。
主從數(shù)據(jù)庫分別修改my.cnf文件相關(guān)配置項如下：
- binlog_format=ROW
#p#
三：使用pt-table-checksum工具檢查數(shù)據(jù)一致性情況
用法參考：
假設(shè)192.168.1.205是主庫，192.168.1.207是它的從庫，端口在3306。
1. 先校驗
- # pt-table-checksum --user=root --password=123456 \
- --host=192.168.1.205 --port=3306 \
- --databases=test --tables=t2 --recursion-method=processlist \
- --no-check-binlog-format --nocheck-replication-filters \
- --replicate=test.checksums
2. 根據(jù)校驗結(jié)果，只修復192.168.1.207從庫與主庫不一致的地方：
- # pt-table-sync --execute --replicate \
- test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
3. 修復后，再重新校驗一次。執(zhí)行***步的語句即可。
4. 檢查修復結(jié)果： 登陸到192.168.1.207，執(zhí)行如下sql語句返回若為空，則說明修復成功：
- SELECT
- *
- FROM
- test.checksums
- WHERE
- master_cnt <> this_cnt
- OR master_crc <> this_crc
- OR ISNULL(master_crc) <> ISNULL(this_crc)
各參數(shù)含義
- --nocheck-replication-filters:不檢查復制過濾器，建議啟用。后面可以用--databases來指定需要檢查的數(shù)據(jù)庫。
- --no-check-binlog-format:不檢查復制的binlog模式，要是binlog模式是ROW，則會報錯。
- --replicate-check-only:只顯示不同步的信息。
- --replicate=:把checksum的信息寫入到指定表中，建議直接寫到被檢查的數(shù)據(jù)庫當中。
- --databases=:指定需要被檢查的數(shù)據(jù)庫，多個則用逗號隔開。
- --tables=：指定需要被檢查的表，多個用逗號隔開
- h=127.0.0.1:Master的地址
- u=root:用戶名
- p=123456:密碼
- P=3306:端口
#p#
下面我們來模擬下主從數(shù)據(jù)庫不同步情況下的pt-table-checksum，為了方便，這里我們采用test schema
1: 主庫上建表，插入測試數(shù)據(jù)
- mysql> create table t2 (id int primary key,name varchar(100) not null,salary int);
- mysql> CREATE PROCEDURE test_insert ()
- BEGIN
- DECLARE i INT DEFAULT 0;
- WHILE i<10000
- DO
- INSERT INTO t2
- VALUES
- (i,CONCAT('員工',i), i);
- SET i=i+1;
- END WHILE ;
- END;;
- mysql> CALL test_insert();
從庫上校驗當前數(shù)據(jù)的同步情況為正常。
從庫上刪除一半的數(shù)據(jù)
- mysql> delete from t2 where id > 5000;
- Query OK, 4999 rows affected (0.14 sec)
- mysql> select count(*) from t2;
- +----------+
- | count(*) |
- +----------+
- | 5001 |
- +----------+
- 1 row in set (0.01 sec)
2：使用pt-table-checksum工具進行校驗：
- # pt-table-checksum --user=root --password=123456 \
- --host=192.168.1.205 --port=3306 \
- --databases=test --tables=t2 --recursion-method=processlist \
- --no-check-binlog-format --nocheck-replication-filters \
- --replicate=test.checksums
3：登陸從庫進行查詢checksum表
- mysql> SELECT
- *
- FROM
- test.checksums
- WHERE
- master_cnt <> this_cnt
- OR master_crc <> this_crc
- OR ISNULL(master_crc) <> ISNULL(this_crc)
4：使用pt-table-sync工具進行數(shù)據(jù)重新同步
- # pt-table-sync --execute --replicate \
- test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
5：從庫上驗證數(shù)據(jù)，中文“員工”變成了“??”
檢查主庫，發(fā)現(xiàn)出現(xiàn)一樣的情況，中文“員工”變成了“??”，猜想和字符集設(shè)置相關(guān)。
于是檢查數(shù)據(jù)庫字符集設(shè)置，發(fā)現(xiàn)test庫字符集非utf8
主從庫my.cnf文件添加如下配置項后重啟數(shù)據(jù)庫實例
- character_set_client=utf8
- character_set_server=utf8
重新執(zhí)行以上1-4步，發(fā)現(xiàn)一切正常！關(guān)鍵第4步要加--charset=utf8 參數(shù)
- # pt-table-sync --execute --replicate \
- test.checksums --charset=utf8 \
- --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
