怎么做MySQL內核深度優化

這篇文章將為大家詳細講解有關怎么做MySQL內核深度優化，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

一.內核性能的優化

由于騰訊云上的DB基本都需要跨園區災備的特性，因此CDB for MySQL的優化主要針對主從DB部署在跨園區網絡拓撲的前提下，重點去解決真實部署環境下的性能難題。經過分析和調研，我們將優化的思路歸納為：“消除冗余I/O、縮短I/O路徑和避免大鎖競爭”。以下是內核性能的部分案例：

1.主備DB間的復制優化

問題分析

如上圖所示，在原生MySQL的復制架構中，Master側通過Dump線程不斷發送Binlog事件給Slave的I/O線程，Slave的I/O線程在接受到Binlog事件后，有兩個主要的動作：

• 寫入到Relay Log中，這個過程會和Slave SQL線程爭搶保護Relay Log的鎖。

• 更新復制元數據(包含Master的位置等信息)。

優化方法

經過分析，我們的優化策略是：

• Slave I/O線程和Slave SQL線程是典型的單寫單讀生產者-消費者模型，是可以做到無鎖設計的；因此實現思路就是Slave I/O線程在每次寫完數據后，原子更新Relay Log的長度信息，Slave SQL線程讀取Relay Log的時以長度信息為邊界。這樣就將原本競爭激烈的Relay Log鎖化解為無鎖；

• 由于Binlog事件中的GTID(Global Transaction Identifier)和DB事務是一一對應的關系，所以Relay Log中的數據本身已經包含了所需要的復制元數據，所以我們可以不寫Master info文件，消除了冗余的文件I/O；

• 于DB都是以事務為更新粒度的，因為在Relay Log文件I/O上，我們通過合并離散小I/O為事務粒度的大I/O等手段，使磁盤I/O得以大幅提升。

優化效果

如上圖所示，經過優化：左圖35.79%的鎖競爭(futex)已經被完全消除；同壓測壓力下，56.15%的文件I/O開銷被優化到19.16%，Slave I/O線程被優化為預期的I/O密集型線程。

2.主庫事務線程和Dump線程間的優化

問題分析

如上圖所示，在原生MySQL中多個事務提交線程TrxN和多個Dump線程之間會同時競爭Binlog文件資源的保護鎖，多個事務提交線程對Binlog執行寫入，多個Dump線程從Binlog文件讀取數據并發送給Slave。所有的線程之間是串行執行的！

優化方法

經過分析，我們的優化策略是：

• 將讀寫分離開來，多個寫入的線程還是在鎖保護下串行執行，每一個寫入線程寫入完成后更新當前Binlog的長度信息，多個Dump線程以Binlog文件的長度信息為讀取邊界，多個Dump線程之間并行執行。以這種方式來讓復制拓撲中的Dump線程發送得更快！

效果

經過測試，優化后的內核，不僅提升了事務提交線程的性能，在Dump線程較多的情況下，對主從復制性能有較大提升。

二.主備庫交互流程優化

問題分析

如上圖所示，在原生MySQL中主備庫之間的數據發送和ACK回應是簡單的串行執行，在上一個事件ACK回應到達之前，不允許繼續發送下一個事件；這個行為在跨園區(RTT 2-3ms)的情況性能非常差，而且也不能很好地利用帶寬優勢。

優化方法

經過分析，我們的優化策略是：

• 將發送和ACK回應的接收獨立到不同的線程中，由于發送和接收都是基于TCP流的傳輸，所以時序性是有保障的；這樣發送線程可以在未收ACK之前繼續發送，接受線程收到ACK后喚醒等待的線程執行相應的任務。

效果

根據實際用例測試，優化后的TPS提升為15%左右。

三.內核功能的優化

1. 預留運維帳號連接數配額

在騰訊云上，不時遇到用戶APP異常或者BUG從而占滿DB的最大連接限制，這是CDB OSS帳號無法登錄以進行緊急的運維操作。針對這個現狀，我們在MySQL內核單獨開辟了一個可配置的連接數配額，即便在上述場景下，運維帳號仍然可以連接到DB進行緊急的運維操作。極大地降低了異常情況下DB無政府狀態的風險。該帳號僅有數據庫運維管理權限，無法獲取用戶數據，也保證了用戶數據的安全性。

2. 主備強同步

針對一些應用對數據的一致性要求非常高，CDB在MySQL原生半同步的基礎上進行了深度優化，確保一個事務在主庫上提交之前一定已經復制到至少一個備庫上。確保主庫宕機時數據的一致性。

四.外圍系統的優化

除了以上提到的MySQL內核側的部分優化，我們也在外圍OSS平臺進行了多處優化。例如使用異步MySQL ping協議實現大量實例的監控、通過分布式技術來加固原有系統的HA/服務發現和自動擴容等功能、在數據安全/故障切換和快速恢復方面也進行了多處優化。

關于“怎么做MySQL內核深度優化”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。