dba+開源工具：數(shù)據(jù)恢復(fù)搭把手！MySQL二進(jìn)制日志解析轉(zhuǎn)換工具
工具簡介
reverse_sql是一個用于解析和轉(zhuǎn)換MySQL二進(jìn)制日志（binlog）的工具。它可以將二進(jìn)制日志文件中記錄的數(shù)據(jù)庫更改操作（如插入、更新、刪除）轉(zhuǎn)換為反向的SQL語句，以便進(jìn)行數(shù)據(jù)恢復(fù)。其運(yùn)行模式需二進(jìn)制日志設(shè)置為ROW格式。
該工具的主要功能和特點(diǎn)包括：
1、解析二進(jìn)制日志：reverse_sql能夠解析MySQL的二進(jìn)制日志文件，并還原出其中的SQL語句。
2、生成可讀的SQL：生成原始SQL和反向SQL。
3、支持過濾和篩選：可以根據(jù)時間范圍、表、DML操作等條件來過濾出具體的誤操作SQL語句。
4、支持多線程并發(fā)解析binlog事件。
請注意！reverse_sql只是將二進(jìn)制日志還原為SQL語句，而不會執(zhí)行這些SQL語句來修改數(shù)據(jù)庫。
原理
由于BinLogStreamReader并不支持指定時間戳來進(jìn)行遞增解析，固在每個任務(wù)開始之前，使用上一個任務(wù)處理過的binlog_file和binlog_pos，這樣后續(xù)的線程就可以獲取到上一個線程處理過的binlog文件名和position，然后進(jìn)行后續(xù)的并發(fā)處理。
假設(shè)開始時間戳start_timestamp是1625558400，線程數(shù)量num_threads是4，整個時間范圍被平均分配給每個線程。那么，通過計算可以得到以下結(jié)果：
對于第一個線程（i=0），start_time是1625558400。
對于第二個線程（i=1），start_time是1625558400 + time_range。
對于第三個線程（i=2），start_time是1625558400 + 2 * time_range。
對于最后一個線程（i=3），start_time是1625558400 + 3 * time_range。
這樣，每個線程的開始時間都會有所偏移，確保處理的時間范圍沒有重疊，并且覆蓋了整個時間范圍。最后，將結(jié)果保存在一個列表里，并對列表做升序排序，取得最終結(jié)果。
使用
shell> chmod 755 reverse_sql
shell> ./reverse_sql --help
usage: reverse_sql [-h] [-ot ONLY_TABLES [ONLY_TABLES ...]] [-op ONLY_OPERATION] -H MYSQL_HOST
-P MYSQL_PORT -u MYSQL_USER -p MYSQL_PASSWD -d MYSQL_DATABASE
[-c MYSQL_CHARSET] --binlog-file BINLOG_FILE [--binlog-pos BINLOG_POS]
--start-time ST --end-time ET [--max-workers MAX_WORKERS] [--print]
Binlog數(shù)據(jù)恢復(fù)，生成反向SQL語句。
options:
-h, --help show this help message and exit
-ot ONLY_TABLES [ONLY_TABLES ...], --only-tables ONLY_TABLES [ONLY_TABLES ...]
設(shè)置要恢復(fù)的表，多張表用,逗號分隔
-op ONLY_OPERATION, --only-operation ONLY_OPERATION
設(shè)置誤操作時的命令（insert/update/delete）
-H MYSQL_HOST, --mysql-host MYSQL_HOST
MySQL主機(jī)名
-P MYSQL_PORT, --mysql-port MYSQL_PORT
MySQL端口號
-u MYSQL_USER, --mysql-user MYSQL_USER
MySQL用戶名
-p MYSQL_PASSWD, --mysql-passwd MYSQL_PASSWD
MySQL密碼
-d MYSQL_DATABASE, --mysql-database MYSQL_DATABASE
MySQL數(shù)據(jù)庫名
-c MYSQL_CHARSET, --mysql-charset MYSQL_CHARSET
MySQL字符集，默認(rèn)utf8
--binlog-file BINLOG_FILE
Binlog文件
--binlog-pos BINLOG_POS
Binlog位置，默認(rèn)4
--start-time ST 起始時間
--end-time ET 結(jié)束時間
--max-workers MAX_WORKERS
線程數(shù)，默認(rèn)10
--print 將解析后的SQL輸出到終端
--replace 將update轉(zhuǎn)換為replace操作
Example usage:
shell> ./reverse_sql -ot table1 -op delete -H 192.168.198.239 -P 3336 -u admin -p hechunyang -d hcy --binlog-file mysql-bin.000124 --start-time "2023-07-06 10:00:00" --end-time "2023-07-06 22:00:00" 當(dāng)出現(xiàn)誤操作時，只需指定誤操作的時間段，其對應(yīng)的binlog文件（通常你可以通過show master status得到當(dāng)前的binlog文件名）以及剛才誤操作的表，和具體的DML命令，比如update或者delete。
工具運(yùn)行時，首先會進(jìn)行MySQL的環(huán)境檢測（if binlog_format != 'ROW' and binlog_row_image != 'FULL'），如果不同時滿足這兩個條件，程序直接退出。
工具運(yùn)行后，會在當(dāng)前目錄下生成一個{db}_{table}_recover.sql文件，保存著原生SQL（原生SQL會加注釋）和反向SQL，如果想將結(jié)果輸出到前臺終端，可以指定--print選項。
如果你想把update操作轉(zhuǎn)換為replace，指定--replace選項即可，同時會在當(dāng)前目錄下生成一個{db}_{table}_recover_replace.sql文件。
圖片
MySQL最小化用戶權(quán)限：
> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
`yourname`@`%`;
> GRANT SELECT ON `test`.* TO `yourname`@`%`;恢復(fù)
在{db}_{table}_recover.sql文件中找到你剛才誤操作的DML語句，然后在MySQL數(shù)據(jù)庫中執(zhí)行逆向工程后的SQL以恢復(fù)數(shù)據(jù)。
如果{db}_{table}_recover.sql文件的內(nèi)容過多，也可以通過awk命令進(jìn)行分割，以便更容易進(jìn)行排查。
shell> awk '/^-- SQL執(zhí)行時間/{filename = "output" ++count ".sql"; print > filename; next} {print > filename}' test_t1_recover.sql不支持drop和truncate操作，因為這兩個操作屬于物理性刪除，需要通過歷史備份進(jìn)行恢復(fù)。
注：reverse_sql支持MySQL 5.7/8.0和MariaDB，適用于CentOS 7系統(tǒng)。
2023年7月12日更新 - 分之版本：可實(shí)現(xiàn)進(jìn)度條展示（處理binlog的event數(shù)量和耗時時間）。
工具研發(fā)者介紹
賀春旸，dbaplus社群金牌專家，凡普金科和愛錢進(jìn)DBA團(tuán)隊負(fù)責(zé)人，《MySQL管理之道：性能調(diào)優(yōu)、高可用與監(jiān)控》第一&二版、《MySQL運(yùn)維進(jìn)階指南》作者，曾任職于中國移動飛信、安卓機(jī)鋒網(wǎng)。五次榮獲dbaplus年度MVP，致力于MariaDB、MongoDB等開源技術(shù)的研究，主要負(fù)責(zé)數(shù)據(jù)庫性能調(diào)優(yōu)、監(jiān)控和架構(gòu)設(shè)計。
