91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

InnoDB Redo Flush及臟頁刷新機制深入分析

發布時間:2020-08-08 14:24:11 來源:ITPUB博客 閱讀:806 作者:jeekey00 欄目:MySQL數據庫

概要:


我們知道InnoDB采用Write Ahead Log策略來防止宕機數據丟失,即事務提交時,先寫重做日志,再修改內存數據頁,這樣就產生了臟頁。既然有重做日志保證數據持久性,查詢時也可以直接從緩沖池頁中取數據,那為什么還要刷新臟頁到磁盤呢?如果重做日志可以無限增大,同時緩沖池足夠大,能夠緩存所有數據,那么是不需要將緩沖池中的臟頁刷新到磁盤。但是,通常會有以下幾個問題:

  • 服務器內存有限,緩沖池不夠用,無法緩存全部數據
  • 重做日志無限增大成本要求太高
  • 宕機時如果重做全部日志恢復時間過長
事實上,當數據庫宕機時,數據庫不需要重做所有的日志,只需要執行上次刷入點之后的日志。這個點就叫做Checkpoint,它解決了以上的問題:
  • 縮短數據庫恢復時間
  • 緩沖池不夠用時,將臟頁刷新到磁盤
  • 重做日志不可用時,刷新臟頁

重做日志被設計成可循環使用,當日志文件寫滿時,重做日志中對應數據已經被刷新到磁盤的那部分不再需要的日志可以被覆蓋重用。

InnoDB引擎通過LSN(Log Sequence Number)來標記版本,LSN是日志空間中每條日志的結束點,用字節偏移量來表示。每個page有LSN,redo log也有LSN,Checkpoint也有LSN。可以通過命令show engine innodb status來觀察:

  1.     ---
  2.     LOG
  3.     ---
  4.     Log sequence number 1039878815567
  5.     Log flushed up to 1039878815567
  6.     Pages flushed up to 1039878814486
  7.     Last checkpoint at 1039878814486
  8.     0 pending log writes, 0 pending chkp writes
  9.     5469310 log i/o's done, 1.00 log i/o's/second

Checkpoint機制每次刷新多少頁,從哪里取臟頁,什么時間觸發刷新?這些都是很復雜的。有兩種Checkpoint,分別為:
  • Sharp Checkpoint
  • Fuzzy Checkpoint
Sharp Checkpoint發生在關閉數據庫時,將所有臟頁刷回磁盤。在運行時使用Fuzzy Checkpoint進行部分臟頁的刷新。部分臟頁刷新有以下幾種:
  • Master Thread Checkpoint
  • FLUSH_LRU_LIST Checkpoint
  • Async/Sync Flush Checkpoint
  • Dirty Page too much Checkpoint
Master Thread Checkpoint
Master Thread以每秒或每十秒的速度從緩沖池的臟頁列表中刷新一定比例的頁回磁盤。這個過程是異步的,不會阻塞查詢線程。

Flush LRU List Checkpoint
InnoDB要保證LRU列表中有100左右空閑頁可使用。在InnoDB1.1.X版本前,要檢查LRU中是否有足夠的頁用于用戶查詢操作線程,如果沒有,會將LRU列表尾端的頁淘汰,如果被淘汰的頁中有臟頁,會強制執行Checkpoint刷回臟頁數據到磁盤,顯然這會阻塞用戶查詢線程。從InnoDB1.2.X版本開始,這個檢查放到單獨的Page Cleaner Thread中進行,并且用戶可以通過
innodb_lru_scan_depth控制LRU列表中可用頁的數量,默認值為1024。

Async/Sync Flush Checkpoint
是指重做日志文件不可用時,需要強制將臟頁列表中的一些頁刷新回磁盤。這可以保證重做日志文件可循環使用。在InnoDB1.2.X版本之前,Async Flush Checkpoint會阻塞發現問題的用戶查詢線程,Sync Flush Checkpoint會阻塞所有查詢線程。InnoDB1.2.X之后放到單獨的Page Cleaner Thread。

Dirty Page Too Much Checkpoint
臟頁數量太多時,InnoDB引擎會強制進行Checkpoint。目的還是為了保證緩沖池中有足夠可用的空閑頁。其可以通過參數
innodb_max_dirty_pages_pct來設置,默認為75%。

  1. (root@localhost)[(none)]> show variables like 'innodb_max_dirty_pages_pct';
  2.     +----------------------------+-------+
  3.     | Variable_name | Value |
  4.     +----------------------------+-------+
  5.     | innodb_max_dirty_pages_pct | 75 |
  6.     +----------------------------+-------+
  7.     1 row in set (0.00 sec

以上是臟頁刷新的幾種觸發機制,接下來,細說一下日志機制及其中第3點Async/Sync flush checkpoint原理。

Log及Checkpoint簡介

Innodb的事務日志是指Redo log,簡稱Log,保存在日志文件ib_logfile*里面。Innodb還有另外一個日志Undo log,但Undo log是存放在共享表空間里面的(ibdata*文件)。

由于Log和Checkpoint緊密相關,因此將這兩部分合在一起分析。

名詞解釋:LSN,日志序列號,Innodb的日志序列號是一個64位的整型。

Log寫入

LSN實際上對應日志文件的偏移量,新的LSN=舊的LSN + 寫入的日志大小。舉例如下:

LSN=1G,日志文件大小總共為600M,本次寫入512字節,則實際寫入操作為:

| --- 求出偏移量:由于LSN數值遠大于日志文件大小,因此通過取余方式,得到偏移量為400M;

| --- 寫入日志:找到偏移400M的位置,寫入512字節日志內容,下一個事務的LSN就是1000000512;

Checkpoint寫入

Innodb實現了Fuzzy Checkpoint的機制,每次取到最老的臟頁,然后確保此臟頁對應的LSN之前的LSN都已經寫入日志文件,再將此臟頁的LSN作為Checkpoint點記錄到日志文件,意思就是“此LSN之前的LSN對應的日志和數據都已經寫入磁盤文件”。恢復數據文件的時候,Innodb掃描日志文件,當發現LSN小于Checkpoint對應的LSN,就認為恢復已經完成。

Checkpoint寫入的位置在日志文件開頭固定的偏移量處,即每次寫Checkpoint都覆蓋之前的Checkpoint信息。

Flush刷新流程及原理介紹

由于Checkpoint和日志緊密相關,將日志和Checkpoint一起說明,詳細的實現機制如下:


如上圖所示,Innodb的一條事務日志共經歷4個階段:

1) 創建階段:事務創建一條日志;

2) 日志刷盤:日志寫入到磁盤上的日志文件;

3) 數據刷盤:日志對應的臟頁數據寫入到磁盤上的數據文件;

4) 寫CKP:日志被當作Checkpoint寫入日志文件;


對應這4個階段,系統記錄了4個日志相關的信息,用于其它各種處理使用:

Log sequence number(LSN1):當前系統LSN最大值,新的事務日志LSN將在此基礎上生成(LSN1+新日志的大小);

Log flushed up to(LSN2):當前已經寫入日志文件的LSN;

Pages flushed up to(LSN3):當前最舊的臟頁數據對應的LSN,寫Checkpoint的時候直接將此LSN寫入到日志文件;

Last checkpoint at(LSN4):當前已經寫入Checkpoint的LSN;

 

對于系統來說,以上4個LSN是遞減的,即: LSN1>=LSN2>=LSN3>=LSN4.

具體的樣例如下(使用show engine innodb status \G命令查看)

概念 計算 含義 Ckp age LSN1- LSN4 還沒有做Checkpoint的日志范圍,若Ckp age超過日志空間,說明被覆蓋的日志(LSN1-LSN4-Log cap)對應日志和數據“可能”還沒有刷到磁盤上 Buf age LSN1- LSN3 還沒有將臟頁刷盤的日志的范圍,若Buf age超過日志空間,說明被覆蓋的日志(LSN1-LSN3-Log cap)對應數據“肯定”還沒有刷到磁盤上 Buf async 日志空間大小 * 7/8 強制將Buf age-Buf async的臟頁刷盤,此時事務還可以繼續執行,所以為async,對事務的執行速度沒有直接影響(有間接影響,例如CPU和磁盤更忙了,事務的執行速度可能受到影響) Buf sync 日志空間大小 * 15/16 強制將2*(Buf age-Buf async)的臟頁刷盤,此時事務停止執行,所以為sync,由于有大量的臟頁刷盤,因此阻塞的時間比Ckp sync要長。 Ckp async 日志空間大小 * 31/32 強制寫Checkpoint,此時事務還可以繼續執行,所以為async,對事務的執行速度沒有影響(間接影響也不大,因為寫Checkpoint的操作比較簡單) Ckp sync 日志空間大小 * 64/64 強制寫Checkpoint,此時事務停止執行,所以為sync,但由于寫Checkpoint的操作比較簡單,即使阻塞,時間也很短

 

當事務執行速度大于臟頁刷盤速度時,Ckp age和Buf age會逐步增長,當達到async點的時候,強制進行臟頁刷盤或者寫Checkpoint,如果這樣做還是趕不上事務執行的速度,則為了避免數據丟失,到達sync點的時候,會阻塞其它所有的事務,專門進行臟頁刷盤或者寫Checkpoint。

因此從理論上來說,只要事務執行速度大于臟頁刷盤速度,最終都會觸發日志保護機制,進而將事務阻塞,導致MySQL操作掛起。

由于寫Checkpoint本身的操作相比寫臟頁要簡單,耗費時間也要少得多,且Ckp sync點在Buf sync點之后,因此絕大部分的阻塞都是阻塞在了Buf sync點,這也是當事務阻塞的時候,IO很高的原因,因為這個時候在不斷的刷臟頁數據到磁盤。例如如下截圖的日志顯示了很多事務阻塞在了Buf sync點:

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

双城市| 石门县| 庄河市| 马关县| 两当县| 尼玛县| 芦溪县| 迁安市| 临潭县| 南通市| 石泉县| 福建省| 雷山县| 黑龙江省| 鲁甸县| 聂拉木县| 峨眉山市| 宜兰县| 绩溪县| 中牟县| 太原市| 康定县| 拉萨市| 临夏市| 习水县| 自治县| 山丹县| 洱源县| 宁远县| 四子王旗| 北安市| 大安市| 内乡县| 彭州市| 长寿区| 唐山市| 西畴县| 扎兰屯市| 城市| 清丰县| 天柱县|