1. 程式人生 > >【MySQL】組提交技術的閱讀思考

【MySQL】組提交技術的閱讀思考

都沒有 車間 手冊 一定的 一個 存儲 官方 進程 成功

組提交難點

一.給leader進程帶來了不公平

二.兼顧redo和binlog順序的對應

三.事務redo與binlog的寫流程與fsync時機(沒有引進組提交時的流程)

四.為什麽要組提交?(簡單組提交下的弊病,硬件資源速度的不一致性,帶來的優勢)

關鍵參數與流程

flush階段

  • 將Binlog寫入內存,(好像沒有Binlog buffer的說法,直接寫入內存,內存寫入條帶文件)。

  • binlog_max_flush_queue_time 每多少秒去寫入一次Binlog到內存(官方)。flush階段中一批事務等待的時間。類似於檢票處一次用Bodycheck牌擋住一定數量的人。默認0,這個參數已經廢棄

sync->commit階段,主要是在sync,sync(刷盤binlog)。若sync_binlog不為1,多個組應該卡在這兒。豈不是導致commit ack變慢?不對,只是加速

  • binlog_group_commit_sync_delay 應該是用來控制leader進度的,也就是發車間隔時間。這個是導致leader不公平的主要原因。單位微妙。微妙級別的話,相對於刷盤的時間,leader的不公平看起來微乎其微。

  • binlog_group_commit_sync_no_delay_count 最低發車座位數, 類似於定員流水發車大巴,車上的人到達一定的數量後,直接發車,不在等待一個最小發車間隔

commit階段 redo log buffer刷盤

  • sync_binlog的含義就變了,假定設為1000,表示的不是1000個事務後做一次fsync,而是1000個事務組。默認1的話就是,1個事務組提交一次fsync Binlog
    也就是說,比如, 1-1000個事務,前面999個都沒有sync,默認是sync成功的。第1000個事務時進行真正的binlog sync 。若中間掛了,沒有sync成功,那麽1-1000事務的binlog 都沒有被記錄

  • 第一次等待的時間可能不太好理解,,應該是第一次分批限流。比方說,保證流入sync階段的都是按時間分段的,而不是離散的算是預分組吧。找不到很合適的例子說明

總結

在讀寫IO相對於內存的速度有很大差距的情況下,把單次離散寫,合並成批量連續寫。硬盤的尋道時間要比順序寫硬盤的時間要慢很多。盡量少尋道,也是一種思路

參考

阿裏月報 201501
https://www.kancloud.cn/taobaomysql/monthly/67157

官方手冊
https://dev.mysql.com/doc/refman/5.7/en/replication-options-reference.html

姜承堯
《Innodb存儲引擎 P322》

延伸閱讀

fb關於組提交的文章 發布時間:2010 年 10 月 7 日 周四 02:16
https://www.facebook.com/notes/mysql-at-facebook/group-commit/438641125932/
沒有精力

其實看源碼最直接,沒有精力

【MySQL】組提交技術的閱讀思考