【MySQL】如何快速執行 binlog
【背景】
維護
mysql的時候,總會遇到數據庫恢復的例子。如果把備份集恢復出來相對比較簡單。然而如果遇到恢復到時間點的例子,把一個MySQL實例恢復出來之后,需要執行binlog做增量恢復。
【方法一】
常見的辦法是用mysqlbinlog解析binlog,將解析出來的內容重定向到mysql命令行執行。
#start是mysql-bin后面的數字
-
i=start
-
while [ $i -lt end ]
-
do
-
mysqlbinlog mysql-bin.$i | mysql -h 127.0.0.1 -P 4001 -uroot > 0550.log 2>&1
-
done
這樣做確實可以,而且row模式的binlog,也可以通過這種方式來執行。但是這樣做有幾個缺點
1. 如果解析出來的binlog在執行的過程中報錯,如何處理?直接加 -f 強制執行嗎?
2. 執行中途如何停下來,下次接著跑? 比如我想調整一下MySQL的參數(需要重啟)后繼續跑?
3. 只能單線程執行。而且mysqlbinlog解析再通過管道執行,有比較高的性能開銷。
鑒于上面的缺點 下面隆重推出執行大量binlog的另外一種方法
【方法二】
我們都知道relay-log的內容和binlog的內容其實都是一樣的,那么我是否能把binlog作為relay-log來執行呢?
答案是肯定的,屢試不爽。
詳細的步驟:
0. 先把實例正常shutdown
1. 把binlog上傳到mysql
服務器本地磁盤,放到一個固定的目錄,如/home/mysql/restore_1031
2. 如果是M-S 架構,則需要修改master.info,寫入如下內容
-
cat > $BINLOG_DIR/master.info<<eof
</eof
-
18
-
dummy.binlog
-
0
-
dummy.host
-
repl
-
repl
-
3306
-
60
-
0
-
-
-
-
-
-
-
-
-
-
-
0
-
0.000
-
-
-
0
-
-
-
EOF
這里的內容需要符合規則,只要不指向slave 就好,避免應用slave的sql。
3. 修改slave-relay-log.info, 把$STAET, $START_BINLOG_POS替換成你需要開始執行的binlog的文件名和start-position
-
cat > $BINLOG_DIR/relay-log.info <<EOF
-
/home/mysql/restore_1031/mysql-bin.$STAET
-
$START_BINLOG_POS
-
dummy-binlog.1
-
0
-
EOF
4. 修改slave-relay-log.index, 把你需要執行的binlog列表都放進去。
-
#head slave-relay-log.index
-
/home/mysql/restore_1031/mysql-bin.000588
-
/home/mysql/restore_1031/mysql-bin.000589
-
/home/mysql/restore_1031/mysql-bin.000590
-
/home/mysql/restore_1031/mysql-bin.000591
-
/home/mysql/restore_1031/mysql-bin.000592
5. 啟動mysql實例,執行start slave sql_thread。
使用
方法二的好處:
解決了上面用mysqlbinlog解析再管道給mysql執行的各個缺陷。
1 可以隨時stop slave,調整一些參數,再start slave。
2 可以選擇忽略一些slave執行報錯。
3 如果你的mysql版本支持多線程復制,你還可以使用它 start slave multi_sql_thread 而且這么做性能更好,在一個數據恢復的場景中,
性能對比:
使用mysqlbinlog 加管道的方式,每秒只能執行3000不到IUD,
使用mysql原生slave執行的方式,每秒可以執行8000 IUD。
缺點:修改master.info slave-relay-log.info等文件,需要重啟實例才會生效。
下一次,如果你需要恢復大量binlog,你會選擇哪種方式?