開發十年，就只剩下這套架構體系了！ >>>   

本文目錄一、使用背景

1.可傳輸表空間基本流程
2.使用前提條件/限制
二、技術要點
三、實施步驟
1.實驗環境
2.源端操作
1) 造測試資料並模擬小壓力
2) 備份單庫資料
3) 備份表結構
4) 批量生成可傳輸表空間命令
3.目標端操作

1) 備份資料恢復準備
2) 恢復表結構至目標端
3) 捨棄目標端對應表空間檔案
4) 拷貝表資料及配置檔案到目標端sbtest庫資料目錄
5) 執行匯入表空間檔案操作
4.建立複製(多源複製)
四、參考連結

Keywords：
MySQL xtrabackup Transportable Tablespaces 
MySQLdump multi-source replication

一、使用背景 

MySQL在5.7以後引入了多源複製(Multi-Source)功能，可用於將多個單獨的資料庫匯聚到一個數據庫例項下，方便使用者進行資料分析、彙總或推送至其他資料庫平臺。早期針對匯聚場景初始化各源端資料到匯聚庫，為了提升效率通常會使用使用開源並行邏輯匯入匯出工具myloader/mydumper

進行資料匯入/匯出，當源端多例項多庫資料量較大(100G以上)情況下，使用myloader/mydumper花費的時間則可能無法滿足時間要求，需要考慮是否有更高效的方式進行資料初始化同步操作，以及當複製通道異常時更便捷快速修復。

ps：多源複製使用物理備份(xtrabackup)做資料初始化時，常規方式只有第一個通道可做覆蓋還原，後續通道需邏輯還原或用其他方式還原，如該方案所描述的方式。

MySQL在5.6以後支援了可傳輸表空間,以及Xtrabackup針對該功能在備份時提供了一個對應引數export,該引數支援對InnoDB儲存引擎表的備份資料export轉換，且與常規備份操作一樣可生成備份時間點的binlog資訊(GTID資訊),結合這兩特性可以更高效和快速的方式實現多庫資料匯聚的初始匯入操作。

▽場景架構圖如下▽
 

1.可傳輸表空間基本流程
先簡單梳理一下可傳輸表空間基本流程：
 

• 在源端將InnoDB表進行ibd資料檔案匯出處理(export tablespace))
• 在目標端建立與源端相同表結構的表
• 將目標端的表資料檔案捨棄(discard tablespace)
• 用源端的相對應ibd檔案覆蓋到目標端
• 在目標端執行表空間檔案的匯入/置換(import tablespace)

單純使用可傳輸表空間功能無法記錄對應表的事務點，也就是如果需要進行匯聚複製同步，無法知道從binlog哪個檔案的哪個position點進行資料同步，這也就是需要引入xtrabackup及export功能的原因。備份元資料資訊本身會記錄複製同步點資訊。

2.使用前提條件/限制

• MySQL須為5.6以上版本
• 表儲存引擎須為InnoDB儲存引擎(支援可傳輸表空間)
• 匯入完成後建議執行ANALYZE TABLE更新統計資訊

二、技術要點

• sysbench 源端造測試資料並模擬壓力
• mysqldump 備份源端表結構
• concat()拼接批量可傳輸表空間SQL
• xtrabackup 備份源端單庫(部分庫)資料
• Transportable Tablespace可傳輸表空間功能
• Multi-source Replication 多源複製
• mysql-error.log 錯誤資訊日誌校驗
• ANALYZE TABLE更新統計資訊

三、實施步驟 

1.實驗環境 
 

2.源端操作 
 

• 1) 造測試資料並模擬小壓力

使用sysbench建立4張各100W記錄的測試表，並使用2個併發持續模擬業務壓力：
 
## 造資料
shell> /opt/sysbench-0.9/sysbench/sysbench --test=/opt/sysbench-0.9/sysbench/tests/db/oltp.lua --oltp-table-size=1000000 --oltp-tables-count=4 --mysql-user=sysbench --mysql-password=sysbench --mysql-host=10.186.60.16 --mysql-port=3333 prepare

## 模擬小壓力
shell> /opt/sysbench-0.9/sysbench/sysbench --test=/opt/sysbench-0.9/sysbench/tests/db/oltp.lua --oltp-table-size=1000000 --oltp-tables-count=4 --mysql-user=sysbench --mysql-password=sysbench --mysql-host=10.186.60.16 --mysql-port=3333 --num-threads=2 --max-requests=0 --max-time=0 --report-interval=1 run

• 2) 備份單庫資料

使用xtrabackup備份工具對源端sbtest庫進行單庫備份，儲存至/data/mysql/backup/目錄下：

shell> innobackupex --databases=sbtest /data/mysql/backup/

• 3) 備份表結構

為可傳輸表空間做準備，將源端表結構備份並後續在目標端匯入：

shell> cd /data/mysql/backup
shell> mysqldump --no-data --set-gtid-purged=off sbtest>sbtest_schema.sql

 

• 4) 批量生成可傳輸表空間命令

 

• discard

使用concat函式拼接出批量DISCARD TABLESPACE的SQL：

shell> cd /data/mysql/backup
shell> mysql -ssre "select concat('ALTER TABLE ',TABLE_SCHEMA,'.',TABLE_NAME,' DISCARD TABLESPACE;') from information_schema.tables where TABLE_SCHEMA='sbtest';" >discard_tbs.sql

## 輸出檔案如下所示
shell> cat discard_tbs.sql
ALTER TABLE sbtest.sbtest1 DISCARD TABLESPACE;
ALTER TABLE sbtest.sbtest2 DISCARD TABLESPACE;
ALTER TABLE sbtest.sbtest3 DISCARD TABLESPACE;
ALTER TABLE sbtest.sbtest4 DISCARD TABLESPACE;

• import

使用concat函式拼接出批量IMPORT TABLESPACE的SQL：

shell> cd /data/mysql/backup
shell> mysql -ssre "select concat('ALTER TABLE ',TABLE_SCHEMA,'.',TABLE_NAME,' IMPORT TABLESPACE;') from information_schema.tables where TABLE_SCHEMA='sbtest';">import_tbs.sql

## 輸出檔案如下所示
shell> cat import_tbs.sql
ALTER TABLE sbtest.sbtest1 IMPORT TABLESPACE;
ALTER TABLE sbtest.sbtest2 IMPORT TABLESPACE;
ALTER TABLE sbtest.sbtest3 IMPORT TABLESPACE;
ALTER TABLE sbtest.sbtest4 IMPORT TABLESPACE;

拷貝源端/data/mysql/backup目錄下生成的所有相關檔案到目標端/data/mysql/backup下
 

3.目標端操作

• 1) 備份資料恢復準備

對備份資料進行apply-log日誌應用及將資料進行export轉換生成配置檔案：

shell> innobackupex --apply-log --export /data/mysql/backup/2019-02-22_15-26-20/

## export執行完後sbtest庫下備份檔案如下所示
## exp結尾的檔案為Percona針對Percona XtraDB做export的配置檔案
## cfg結尾的檔案為Percona針對MySQL可傳輸表空間export的配置檔案

shell>  ll /data/mysql/backup/2019-02-22_15-26-20/sbtest/
總用量 999556
-rw-r----- 1 root root        67 2月  22 15:40 db.opt
-rw-r--r-- 1 root root       569 2月  22 15:53 sbtest1.cfg
-rw-r----- 1 root root     16384 2月  22 15:53 sbtest1.exp
-rw-r----- 1 root root      8632 2月  22 15:40 sbtest1.frm
-rw-r----- 1 root root 255852544 2月  22 15:53 sbtest1.ibd
-rw-r--r-- 1 root root       569 2月  22 15:53 sbtest2.cfg
-rw-r----- 1 root root     16384 2月  22 15:53 sbtest2.exp
-rw-r----- 1 root root      8632 2月  22 15:40 sbtest2.frm
-rw-r----- 1 root root 255852544 2月  22 15:53 sbtest2.ibd
-rw-r--r-- 1 root root       569 2月  22 15:53 sbtest3.cfg
-rw-r----- 1 root root     16384 2月  22 15:53 sbtest3.exp
-rw-r----- 1 root root      8632 2月  22 15:40 sbtest3.frm
-rw-r----- 1 root root 255852544 2月  22 15:53 sbtest3.ibd
-rw-r--r-- 1 root root       569 2月  22 15:53 sbtest4.cfg
-rw-r----- 1 root root     16384 2月  22 15:53 sbtest4.exp
-rw-r----- 1 root root      8632 2月  22 15:40 sbtest4.frm
-rw-r----- 1 root root 255852544 2月  22 15:53 sbtest4.ibd

 

• 2) 恢復表結構至目標端

將源端表結構在目標端資料庫建立：

shell> cd /data/mysql/backup

## 手工建立sbtest庫
shell> mysql -e "create database sbtest;"

## 匯入源端對應的表結構
shell> mysql sbtest< sbtest_schema.sql

## 驗證
shell> mysql -e "show tables from sbtest;"

 

• 3) 捨棄目標端對應表空間檔案

 

shell> cd /data/mysql/backup
shell> mysql <discard_tbs.sql

## 執行後效果如下所示，ibd檔案已被捨棄
shell>  ll /data/mysql/data/sbtest/
-rw-r----- 1 mysql mysql   67 2月  22 15:58 db.opt
-rw-r----- 1 mysql mysql 8632 2月  22 15:58 sbtest1.frm
-rw-r----- 1 mysql mysql 8632 2月  22 15:58 sbtest2.frm
-rw-r----- 1 mysql mysql 8632 2月  22 15:58 sbtest3.frm
-rw-r----- 1 mysql mysql 8632 2月  22 15:58 sbtest4.frm

 

• 4) 拷貝表資料及配置檔案到目標端sbtest庫資料目錄

 

## 拷貝ibd檔案
shell> cp /data/mysql/backup/2019-02-22_15-26-20/sbtest/*.ibd /data/mysql/data/sbtest/

## 拷貝cfg檔案
shell> cp /data/mysql/backup/2019-02-22_15-26-20/sbtest/*.cfg /data/mysql/data/sbtest/

## 修改檔案許可權為mysql使用者
shell> chown -R mysql:mysql /data/mysql/data/sbtest

 

• 5) 執行匯入表空間檔案操作

shell> cd /data/mysql/backup

## 出現Warning為可傳輸表空間正常輸出，可忽略,詳情可參考下圖所示note說明
shell> mysql <import_tbs.sql
Warning (Code 1814): InnoDB: Tablespace has been discarded for table 'sbtest1'
Warning (Code 1814): InnoDB: Tablespace has been discarded for table 'sbtest2'
Warning (Code 1814): InnoDB: Tablespace has been discarded for table 'sbtest3'
Warning (Code 1814): InnoDB: Tablespace has been discarded for table 'sbtest4'

## 可通過MySQL錯誤日誌檢視import期間是否存在匯入異常
shell> less /data/mysql/data/mysql-error.log

4.建立複製(多源複製) 

mysql> CHANGE MASTER TO 
MASTER_HOST='10.186.60.16', 
MASTER_USER='repl', 
MASTER_PORT=3333, 
MASTER_PASSWORD='repl',
MASTER_LOG_FILE='mysql-bin.000004',
MASTER_LOG_POS=149327998 FOR CHANNEL '10-186-60-16';

mysql> CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE=('sbtest.%');

mysql> START SLAVE FOR CHANNEL '10-186-60-16';
mysql> SHOW SLAVE STATUS FOR CHANNEL '10-186-60-16'\G;

四、參考連結

• Percona xtrabackup export功能介紹

https://www.percona.com/doc/percona-xtrabackup/2.4/xtrabackup_bin/restoring_individual_tables.html

• MySQL 可傳輸表空間功能說明

https://dev.mysql.com/doc/refman/5.7/en/tablespace-copying.html

• 場景示例思路來源部落格

http://www.cnblogs.com/xuanzhi201111/p/6609867.html
 

使用指南系列

| 使用指南
深度分析 | MyCat與DBLE的對比效能調優
開源分散式中介軟體 DBLE 快速入門指南
DBLE 自定義拆分演算法
DBLE Server.xml 配置解析
DBLE Schema.xml 配置解析
DBLE rule.xml 配置解析
| 案例分析
DBLE和Mycat跨分片查詢結果不一致案例分析
| 社群活動
DBLE核心研發主講：MySQL分散式中介軟體公開課開課啦

開源分散式中介軟體DBLE
社群官網：https://opensource.actionsky.com/
GitHub主頁：https://github.com/actiontech/dble
技術交流群：669663113

開源資料傳輸中介軟體DTLE
社群官網：https://opensource.actionsky.com/
GitHub主頁：https://github.com/actiontech/dtle
技術交流群：852990221
 

相關推薦