mysql常見slave延遲原因有哪些

這篇文章主要介紹了mysql常見slave延遲原因有哪些，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一  序言

在運維線上M-M 架構的MySQL數據庫時,接收的比較多關于主備延時的報警:

1. check_ins_slave_lag (err_cnt:1)critical-slavelag on ins:3306=39438

相信slave 延遲是MySQL dba 遇到的一個老生長談的問題了。先來分析一下slave延遲帶來的風險

  1. 異常情況下,主從HA無法切換。HA 軟件需要檢查數據的一致性，延遲時，主備不一致。 

  2. 備庫復制hang會導致備份失敗(flush tables with read lock會900s超時）

  3. 以 slave 為基準進行的備份，數據不是最新的,而是延遲。

二  如何解決

面對此類問題我們如何解決 ，如何規避？分析一下導致備庫延遲的幾種原因

1. ROW模式無主鍵、無索引或索引區分度不高.有如下特征

   a. show slave status 顯示position一直沒有變

   b. show open tables 顯示某個表一直是 in_use 為 1

   c. show create table 查看表結構可以看到無主鍵，或者無任何索引，或者索引區分度很差。

解決方法：

   a. 找到表區分度比較高的幾個字段, 可以使用這個方法判斷：

    select count(*) from xx; 

    select count(*) from (select distinct xx from xxx) t;

    如果2個查詢count(*)的結果差不多，說明可以對這些字段加索引

   b. 備庫stop slave;

    可能會執行比較久，因為需要回滾事務。

  c. 備庫

    set sql_log_bin=0;

    alter table xx add key xx(xx);

   老的版本slave應用binlog時只會選擇第一個索引，需要把新加的索引放在最前面，可以先把老的索引刪掉，建新的索引，再把老的索引建上。可以放到一個sql中執行。

  d. 備庫start slave

    如果是innodb,可以通過show innodb status來查看 rows_inserted,updated,deleted,selected這幾個指標來判斷。

    如果每秒修改的記錄數比較多，說明復制正在以比較快的速度執行。

2 MIXED模式無索引或SQL慢

   在從庫上show full processlist 查看到正在執行的SQL。

解決方法：

  a.  SQL比較簡單, 則檢查是否缺少索引，并添加索引。

  b. 另一類是 insert into select from的語句，如果select 里包含group by，多表關聯，可能效率會比較低。

      這類可以到主庫把binlog_format改成row。

3 主庫上有大事務,導致從庫延時

現象解析binlog 發現類似于下圖的情況看

解決方法：

與開發溝通,增加緩存,異步寫入數據庫,減少直接對db的大量寫入。

4. 主庫寫入頻繁,從庫壓力跟不上導致延時

  此類原因的主要現象是數據庫的 IUD 操作非常多，slave由于sql_thread單線程的原因追不上主庫。

 解決方法：

 a 升級從庫的硬件配置,比如ssd,fio.

 b 使用@丁奇的預熱工具-relay fetch

   在備庫sql線程執行更新之前，預先將相應的數據加載到內存中,并不能提高sql_thread線程執行sql的能力，也不能加快io_thread線程讀取日志的速度。

 c 使用多線程復制 阿里MySQL團隊實現的方案--基于行的并行復制。

   該方案允許對同一張表進行修改的兩個事務并行執行，只要這兩個事務修改了表中的不同的行。這個方案可以達到事務間更高的并發度，但是局限是必須使用Row格式的binlog。因為只有使用      Row格式的binlog才可以知道一個事務所修改的行的范圍，而使用Statement格式的binlog只能知道修改的表對象。

5. 數據庫中存在大量myisam表，在備份的時候導致slave 延遲

 由于xtrabackup 工具備份到最后會執行flash tables with read lock ，對數據庫進行鎖表以便進行一致性備份，然后對于myisam表 鎖，會阻礙salve_sql_thread 停滯運行進而導致hang

該問題目前的比較好的解決方式是修改表結構為innodb存儲引擎的表。

 三 拓展閱讀

 [1] 怎樣解決MySQL數據庫主從復制延遲的問題 

 [2] 三種MySQL并行復制方案的分析                

 [3] 一種MySQL主從同步加速方案－改進

 [4] MySQL多線程同步MySQL-Transfer介紹

6、如何確認真正延遲多少？
seconds_bebind_master這個參數不準，有時顯示為0，但是有數據延遲的情況，在stop slave和start slave后，數據就同步過來了，因為slave有時候檢測網絡正常失敗，可以使用腳本來實現監控，在salve和master節點分別部署。
先在兩個節點都創建監控表

1. <span style="font-size:16px;">#filename: run_mysql_replication_heartbeat.py  

2. #encoding=gbk  

3. import datetime,time  

4. import os,sys  

5. from public import db  

6.   

7. import db_conf  

8.   

9. source_folder = db_conf.SOURCE_FOLDER  

10.   

11.   

12. def init_eviroment_path():  

13.     print sys.path  

14.     python_path = (source_folder)  

15.       

16.     for i in python_path:  

17.         if i not in sys.path:  

18.             sys.path.append(i)  

19.       

20.     print sys.path  

21.   

22. def main():  

23.     conn, cursor = db.GetMysqlCursor('update')  

24.       

25.     cursor.execute("insert into heartbeat (master_datetime,slave_datetime) values(now(),sysdate())")  

26.       

27.     cursor.close()  

28.     conn.close()  

29.   

30. if __name__ == '__main__':  

31.     init_eviroment_path()  

32.     os.system("title MySQL Replication心跳")  

33.     count = 1  

34.     while True:  

35.         main()  

36.         print "(%d)%s"%(count,datetime.datetime.now())  

37.         count+=1  

38.         time.sleep(60)<span style="font-size: 24px;">  

39.  

修改master端的binlog模式為statement（默認為mix）

所以這么修改是因為必須是statement的SQL語句同步模式才行，否則mix下有可能是ROW的結果數據同步模式就不行，這個我也是通過master>show binlog events才找到這個原因。

如果要立刻看到結果，只要把master端的時間修改一下，例如提前一個小時，執行：

insert into heartbeat (master_datetime,slave_datetime) values(now(),sysdate())在slave上就可以看到類似如下結果：

感謝你能夠認真閱讀完這篇文章，希望小編分享的“mysql常見slave延遲原因有哪些”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!