Mysql大型SQL文件快速恢復方案分享

前言

在使用Mysql數據庫的過程中,經常需要使用到備份和恢復數據庫,最簡單便捷的方法便是通過導出SQL數據文件和導入SQL數據文件來完成備份和恢復,但是隨著項目的增長,數據量越來越大,每次恢復就成了一件很頭疼的事情。

當我最近一次拉下項目中的5GB大小的數據庫到本地進行恢復時,竟然需要耗時40-50分鐘,想著日后的數據擴增,數據量越來越大,恢復成本也越來越高,于是便查閱了一些資料,可以通過以下設置來提高你的恢復效率.

1.更改備份參數

首先我們需要在備份數據庫的時候,可以通過更改參數來提高我們的恢復效率.

mysqldump --extended-insert

mysqldump的--extended-insert參數表示批量插入,會將多個insert語句合并成一個語句,與沒有開啟-extended-insert的備份導入效率相差3-4倍.

使用--extended-insert=false導出的sql文件數據是這樣的,每行一條insert語句,執行效率非常低下

使用--extended-insert=true導出的表如下圖這種，一個很長的insert語句,會進行批量插入。

2.調整MYSQL快速插入參數

如果你的數據庫儲存引擎是MYISAM參數的話,可以將此參數設置到512M或256M,MyISAM會使用一種特殊的樹狀緩存來做出更快的批量插入。

相關文檔：https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_bulk_insert_buffer_size

該值默認是8M = 8388608byte

查看插入緩沖區大小

SHOW VARIABLES LIKE '%bulk%';

設置插入緩沖區大小(全局)

SET GLOBAL bulk_insert_buffer_size =1024*1024*512;

設置插入緩沖區大小(session)

SET bulk_insert_buffer_size =1024*1024*256;

如果需要設置Mysql重新啟動時,依然保留該值,需要將這段配置添加了my.cnf

[mysqld]
bulk_insert_buffer_size = 256M

3.關閉檢查項

對于Innodb引擎中,我們可以關閉一些系統檢查項來實現更快的插入的方案.

//關閉自動提交
SET autocommit=0;

//關閉唯一檢查
set unique_checks = 0;

//關閉外鍵檢查
SET foreign_key_checks=0;

//備份的時候開啟--extended-insert參數

關于Innodb批量數據加載相關文檔:https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

4.實踐

做好以上優化后,你的Mysql恢復效率瞬間會提升一個檔次,在沒做以上參數優化時,每次恢復數據庫都需要耗費40分鐘的時間,設置后只需要16分鐘左右,我的數據庫文件容量在5GB左右.

以上就這些,途觀有更好的方案和建議的話,希望各位同學一起探討,Happy Coding。

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對億速云的支持。