您好,登錄后才能下訂單哦!
本篇內容主要講解“怎么解決Mysql主從不同步問題的”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“怎么解決Mysql主從不同步問題的”吧!
由于各種原因,mysql主從架構經常會出現數據不一致的情況出現,大致歸結為如下幾類
1:備庫寫數據
2:執行non-deterministic query
3:回滾摻雜事務表和非事務表的事務
4:binlog或者relay log數據損壞
數據不同步給應用帶來的危害是致命的,當出現主從數據不一致的情況,常見的應對方法是先把從庫下線,然后找個半夜三更的時間把應用停掉,重新執行同步,如果數據庫的體積十分龐大,那工作量可想而知,會讓人崩潰。本文介紹使用percona-toolkit工具對mysql主從數據庫的同步狀態進行檢查和重新同步。
一:安裝percona-toolkit
# yum -y install perl-Time-HiRes # wget http://www.percona.com/downloads/percona-toolkit/2.2.13/tarball/percona-toolkit-2.2.13.tar.gz # tar -zxvpf percona-toolkit-2.2.13.tar.gz # cd percona-toolkit-2.2.13 # perl Makefile.PL # make # make install
二:修改mysql 的binlog格式binlog_format參數為row格式
mysql binlog日志有三種格式,分別為Statement, Mixed,以及ROW!
1.Statement:
每一條會修改數據的sql都會記錄在binlog中。
優點:不需要記錄每一行的變化,減少了binlog日志量,節約了IO,提高性能。(相比row能節約多少性能與日志量,這個取決于應用的SQL情況,正常同一條記錄修改或者插入row格式所產生的日志量還小于Statement產生的日志量,但是考慮到如果帶條件的update操作,以及整表刪除,alter表等操作,ROW格式會產生大量日志,因此在考慮是否使用ROW格式日志時應該跟據應用的實際情況,其所產生的日志量會增加多少,以及帶來的IO性能問題。)
缺點:由于記錄的只是執行語句,為了這些語句能在slave上正確運行,因此還必須記錄每條語句在執行的時候的一些相關信息,以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的復制,像一些特定函數功能,slave可與master上要保持一致會有很多相關問題(如sleep()函數, last_insert_id(),以及user-defined functions(udf)會出現問題).
2.Row
不記錄sql語句上下文相關信息,僅保存哪條記錄被修改。
優點: binlog中可以不記錄執行的sql語句的上下文相關的信息,僅需要記錄那一條記錄被修改成什么了。所以rowlevel的日志內容會非常清楚的記錄下每一行數據修改的細節。而且不會出現某些特定情況下的存儲過程,或function,以及trigger的調用和觸發無法被正確復制的問題
缺點:所有的執行的語句當記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日志內容,比如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日志量會很大,特別是當執行alter table之類的語句的時候,由于表結構修改,每條記錄都發生改變,那么該表每一條記錄都會記錄到日志中。
3.Mixed
是以上兩種level的混合使用,一般的語句修改使用statment格式保存binlog,如一些函數,statement無法完成主從復制的操作,則采用row格式保存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日志形式,也就是在Statement和Row之間選擇一種.新版本的MySQL中隊row level模式也被做了優化,并不是所有的修改都會以row level來記錄,像遇到表結構變更的時候就會以statement模式來記錄。至于update或者delete等修改數據的語句,還是會記錄所有行的變更。
主從數據庫分別修改my.cnf文件相關配置項如下:
binlog_format=ROW
三:使用pt-table-checksum工具檢查數據一致性情況
用法參考:
假設192.168.1.205是主庫,192.168.1.207是它的從庫,端口在3306。
1. 先校驗
# pt-table-checksum --user=root --password=123456 \ --host=192.168.1.205 --port=3306 \ --databases=test --tables=t2 --recursion-method=processlist \ --no-check-binlog-format --nocheck-replication-filters \ --replicate=test.checksums
2. 根據校驗結果,只修復192.168.1.207從庫與主庫不一致的地方:
# pt-table-sync --execute --replicate \ test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
3. 修復后,再重新校驗一次。執行***步的語句即可。
4. 檢查修復結果: 登陸到192.168.1.207,執行如下sql語句返回若為空,則說明修復成功:
SELECT * FROM test.checksums WHERE master_cnt <> this_cnt OR master_crc <> this_crc OR ISNULL(master_crc) <> ISNULL(this_crc)
各參數含義
--nocheck-replication-filters:不檢查復制過濾器,建議啟用。后面可以用--databases來指定需要檢查的數據庫。
--no-check-binlog-format:不檢查復制的binlog模式,要是binlog模式是ROW,則會報錯。
--replicate-check-only:只顯示不同步的信息。
--replicate=:把checksum的信息寫入到指定表中,建議直接寫到被檢查的數據庫當中。
--databases=:指定需要被檢查的數據庫,多個則用逗號隔開。
--tables=:指定需要被檢查的表,多個用逗號隔開
h=127.0.0.1:Master的地址
u=root:用戶名
p=123456:密碼
P=3306:端口
下面我們來模擬下主從數據庫不同步情況下的pt-table-checksum,為了方便,這里我們采用test schema
1: 主庫上建表,插入測試數據
mysql> create table t2 (id int primary key,name varchar(100) not null,salary int); mysql> CREATE PROCEDURE test_insert () BEGIN DECLARE i INT DEFAULT 0; WHILE i<10000 DO INSERT INTO t2 VALUES (i,CONCAT('員工',i), i); SET i=i+1; END WHILE ; END;; mysql> CALL test_insert();
從庫上校驗當前數據的同步情況為正常。
從庫上刪除一半的數據
mysql> delete from t2 where id > 5000; Query OK, 4999 rows affected (0.14 sec) mysql> select count(*) from t2; +----------+ | count(*) | +----------+ | 5001 | +----------+ 1 row in set (0.01 sec)
2:使用pt-table-checksum工具進行校驗:
# pt-table-checksum --user=root --password=123456 \
--host=192.168.1.205 --port=3306 \
--databases=test --tables=t2 --recursion-method=processlist \
--no-check-binlog-format --nocheck-replication-filters \
--replicate=test.checksums
3:登陸從庫進行查詢checksum表
mysql> SELECT
*
FROM
test.checksums
WHERE
master_cnt <> this_cnt
OR master_crc <> this_crc
OR ISNULL(master_crc) <> ISNULL(this_crc)
4:使用pt-table-sync工具進行數據重新同步
# pt-table-sync --execute --replicate \ test.checksums --sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
5:從庫上驗證數據,中文“員工”變成了“??”
檢查主庫,發現出現一樣的情況,中文“員工”變成了“??”,猜想和字符集設置相關。
于是檢查數據庫字符集設置,發現test庫字符集非utf8
主從庫my.cnf文件添加如下配置項后重啟數據庫實例
character_set_client=utf8
character_set_server=utf8
重新執行以上1-4步,發現一切正常!關鍵第4步要加--charset=utf8 參數
# pt-table-sync --execute --replicate \
test.checksums --charset=utf8 \
--sync-to-master h=192.168.1.207,P=3306,u=root,p=123456
到此,相信大家對“怎么解決Mysql主從不同步問題的”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。