mydumper安裝、原理介紹

一、安裝

安裝依賴包：

yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake

下載二進位制包：

wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz

解壓安裝：

tar zxvf mydumper-0.9.1.tar.gz
cd mydumper-0.9.1/
cmake .
make
make install

安裝完成後生成兩個二進位制檔案mydumper和myloader位於/usr/local/bin目錄下

檢視是否正常：

mydumper --help

二、原理介紹

mydumper介紹

MySQL自身的mysqldump工具支援單執行緒工作，依次一個個匯出多個表，沒有一個並行的機，這就使得它無法迅速的備份資料。

mydumper作為一個實用工具，能夠良好支援多執行緒工作，可以並行的多執行緒的從表中讀入資料並同時寫到不同的檔案裡，這使得它在處理速度方面快於傳統的mysqldump。其特徵之一是在處理過程中需要對列表加以鎖定，因此如果我們需要在工作時段執行備份工作，那麼會引起DML阻塞。但一般現在的MySQL都有主從，備份也大部分在從上進行，所以鎖的問題可以不用考慮。這樣，mydumper能更好的完成備份任務。

mydumper特性

①多執行緒備份

②因為是多執行緒邏輯備份，備份後會生成多個備份檔案

③備份時對MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會阻塞DML語句

④保證備份資料的一致性

⑤支援檔案壓縮

⑥支援匯出binlog

⑦支援多執行緒恢復

⑧支援以守護程序模式工作，定時快照和連續二進位制日誌

⑨支援將備份檔案切塊

mydumper引數詳解

$ mydumper --help
Usage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:
  -?, --help                  Show help options

Application Options:
  -B, --database              要備份的資料庫，不指定則備份所有庫
  -T, --tables-list           需要備份的表，名字用逗號隔開
  -o, --outputdir             備份檔案輸出的目錄
  -s, --statement-size        生成的insert語句的位元組數，預設1000000
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB
  -c, --compress              Compress output files壓縮輸出檔案
  -e, --build-empty-files     如果表資料是空，還是產生一個空檔案（預設無資料則只有表結構檔案）
  -x, --regex                 Regular expression for 'db.table' matching 使用正則表示式匹配'db.table'
  -i, --ignore-engines        Comma delimited list of storage engines to ignore忽略的儲存引擎，用逗號分割
  -m, --no-schemas            Do not dump table schemas with the data不備份表結構，只備份資料
  -d, --no-data               Do not dump table data備份表結構，不備份資料
  -G, --triggers              Dump triggers備份觸發器
  -E, --events                Dump events
  -R, --routines              Dump stored procedures and functions備份儲存過程和函式
  -k, --no-locks              不使用臨時共享只讀鎖，使用這個選項會造成資料不一致
  --less-locking              Minimize locking time on InnoDB tables.減少對InnoDB表的鎖施加時間
  -l, --long-query-guard      設定阻塞備份的長查詢超時時間，單位是秒，預設是60秒（超時後預設mydumper將會退出）
  -K, --kill-long-queries     Kill long running queries (instead of aborting)殺掉長查詢 (不退出)
  -D, --daemon                Enable daemon mode啟用守護程序模式，守護程序模式以某個間隔不間斷對資料庫進行備
  -I, --snapshot-interval     dump快照間隔時間，預設60s，需要在daemon模式下
  -L, --logfile               使用的日誌檔名(mydumper所產生的日誌), 預設使用標準輸出
  --tz-utc                    SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  --skip-tz-utc               
  --use-savepoints            使用savepoints來減少採集metadata所造成的鎖時間，需要 SUPER 許可權
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  連線的主機名
  -u, --user                  用來備份的使用者名稱
  -p, --password              使用者密碼
  -P, --port                  連線埠
  -S, --socket                使用socket通訊時的socket檔案
  -t, --threads               開啟的備份執行緒數，預設是4
  -C, --compress-protocol     壓縮與mysql通訊的資料
  -V, --version               顯示版本號
  -v, --verbose               輸出資訊模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 預設為2

mydumper主要流程概括

1、主執行緒 FLUSH TABLES WITH READ LOCK, 施加全域性只讀鎖，以阻止DML語句寫入，保證資料的一致性

2、讀取當前時間點的二進位制日誌檔名和日誌寫入的位置並記錄在metadata檔案中，以供即使點恢復使用

3、N個（執行緒數可以指定，預設是4）dump執行緒 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啟讀一致的事務

4、dump non-InnoDB tables, 首先匯出非事務引擎的表

5、主執行緒 UNLOCK TABLES 非事務引擎備份完後，釋放全域性只讀鎖

6、dump InnoDB tables, 基於事務匯出InnoDB表

7、事務結束

　　mydumper的less locking模式:

mydumper使用--less-locking可以減少鎖等待時間，此時mydumper的執行機制大致為

1、主執行緒 FLUSH TABLES WITH READ LOCK （全域性鎖）

2、Dump執行緒 START TRANSACTION WITH CONSISTENT SNAPSHOT;

3、LL Dump執行緒 LOCK TABLES non-InnoDB （執行緒內部鎖）

4、主執行緒UNLOCK TABLES

5、LL Dump執行緒 dump non-InnoDB tables

6、LL DUmp執行緒 UNLOCK non-InnoDB

7、Dump執行緒 dump InnoDB tables

mydumper備份流程圖

mydumper安裝、原理介紹

相關推薦