Xtrabackup

Xtrabackup是由percona開源的免費資料庫熱備份軟體，它能對InnoDB資料庫和XtraDB儲存引擎的資料庫非阻塞地備份（對於MyISAM的備份同樣需要加表鎖）；mysqldump備份方式是採用的邏輯備份，其最大的缺陷是備份和恢復速度較慢，如果資料庫大於50G，mysqldump備份就不太適合。

Xtrabackup優點

 1）備份速度快，物理備份可靠
 2）備份過程不會打斷正在執行的事務（無需鎖表）
 3）能夠基於壓縮等功能節約磁碟空間和流量
 4）自動備份校驗
 5）還原速度快
 6）可以流傳將備份傳輸到另外一臺機器上

Xtrabackup原理

 Xtrabackup安裝完成後有4個可執行檔案，其中2個比較重要的備份工具是innobackupex、xtrabackup
1）xtrabackup 是專門用來備份InnoDB表的，不能備份非Innodb表，和mysql server沒有互動；

2）innobackupex 是一個指令碼，用來備份非InnoDB表，同時會呼叫xtrabackup命令來備份InnoDB表，還會和mysql  server互動，比如鎖表、獲取位置點等。簡單地說，就是在xtrabackup基礎上做了一層封裝；
3）xbcrypt 加密解密備份工具
4）xbstream 流傳打包傳輸工具，類似tar

1）在使用InnoDB引擎表內部會維護一個redo日誌檔案，我們也可以叫做事務日誌檔案。事務日誌會儲存每一個InnoDB表資料的記錄修改
2）xtrabackup在啟動時會記住log sequence number（LSN）日誌序列號，即當前的redo記錄的位置，並且複製所有資料檔案
3）複製過程需要一些時間，所以這期間如果資料檔案LSN有改動，它會執行一個後臺程序，用於監控事務日誌，並不停地將事務日誌中每個資料檔案的修改都記下來

Xtrabackup安裝

官網下載Xtrabackup
1 ##https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.5/binary/RedHat/6/x86_64/percona-xtrabackup-2.3.5-1.el6.x86_64.rpm

搜尋下載幾個依賴rpm包
##http://rpmfind.net/linux/RPM/ 
perl-DBI-1.609-4.el6.x86_64.rpm 
perl-DBD-MySQL-4.013-3.el6.x86_64.rpm 
libev-4.04-2.el6.x86_64.rpm

安裝完成後檢查rpm包安裝情況

[[email protected] tools]# rpm -ivh percona-xtrabackup-2.3.5-1.el6.x86_64.rpm 
warning: percona-xtrabackup-2.3.5-1.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY 
Preparing...                ########################################### [100%] 
  1:percona-xtrabackup    ########################################### [100%] 
[[email protected] tools]# rpm -qa|grep xtrabackup 
percona-xtrabackup-2.3.5-1.el6.x86_64 
[[email protected] tools]# rpm -ql percona-xtrabackup-2.3.5-1.el6.x86_64 
/usr/bin/innobackupex #innobackupex指令碼工具 
/usr/bin/xbcloud
/usr/bin/xbcloud_osenv
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup #最主要的備份工具 
/usr/share/doc/percona-xtrabackup-2.3.5 
/usr/share/doc/percona-xtrabackup-2.3.5/COPYING
/usr/share/man/man1/innobackupex.1.gz 
/usr/share/man/man1/xbcrypt.1.gz 
/usr/share/man/man1/xbstream.1.gz 
/usr/share/man/man1/xtrabackup.1.gz

先對資料庫做一個全量備份
[[email protected] data]# innobackupex --defaults-file=/data/3306/my.cnf --user=root --password=li123456 /backup/full/ 
... 
60710 08:24:47 [00] Writing backup-my.cnf 
160710 08:24:47 [00]        ...done
160710 08:24:47 [00] Writing xtrabackup_info 
160710 08:24:47 [00]        ...done
xtrabackup: Transaction log of lsn (1672995) to (1672995) was copied. 
160710 08:24:47 completed OK!

此時可以看到/backup/full已經有了備份過來的資料檔案
[[email protected] full]# cd /backup/full/2016-07-10_08-24-43/ 
[[email protected] 2016-07-10_08-24-43]# ll 
總用量 131108 
-rw-r----- 1 root root      387 7月  10 08:24 backup-my.cnf 
-rw-r----- 1 root root 134217728 7月  10 08:24 ibdata1 
drwx------ 2 root root      4096 7月  10 08:24 lichengbing 
drwx------ 2 root root      4096 7月  10 08:24 lilongzi 
drwx------ 2 root root      4096 7月  10 08:24 mysql 
drwx------ 2 root root      4096 7月  10 08:24 performance_schema 
-rw-r----- 1 root root        21 7月  10 08:24 xtrabackup_binlog_info 
-rw-r----- 1 root root      113 7月  10 08:24 xtrabackup_checkpoints #記錄LSN號檔案 
-rw-r----- 1 root root      503 7月  10 08:24 xtrabackup_info 
-rw-r----- 1 root root      2560 7月  10 08:24 xtrabackup_logfile 
[[email protected] 2016-07-10_08-24-43]# cat xtrabackup_checkpoints  
backup_type = full-backuped #備份型別為全備 
from_lsn = 0 #起始LSN號（由於是全備所以起始LSN號為0開始） 
to_lsn = 1672995 #截止LSN號 
last_lsn = 1672995 
compact = 0 
recover_binlog_info = 0

現在全備已經完成了，我們來模擬破壞資料，然後恢復資料。
首先停掉資料庫
[[email protected] 3306]# mysqladmin -uroot -pli123456 -S /data/3306/mysql.sock shutdown 
[[email protected] 3306]# mv /data/3306/data/ /data/3306/data_bak/ 
[[email protected] 3306]# mkdir -p /data/3306/data/ #必須建立一個新的空data資料夾用來恢復，不然恢復會報錯 
Original data directory /data/3306/data is not empty!

此時我們在開啟資料庫，發現數據庫檔案被破壞無法啟動了
[[email protected] 3306]# mysqld_safe --defaults-file=/data/3306/my.cnf & 
160710 10:05:14 mysqld_safe Logging to '/data/3306/mysql_oldboy3306.err'. 
160710 10:05:14 mysqld_safe Starting mysqld daemon with databases from /data/3306/data
160710 10:05:15 mysqld_safe mysqld from pid file /data/3306/mysqld.pid ended 
# pid程序檔案無法啟動 
[1]+  Done                    mysqld_safe --defaults-file=/data/3306/my.cnf 
[[email protected] 3306]# tail mysql_oldboy3306.err  
160710 10:05:15 InnoDB: 5.5.32 started; log sequence number 1595668 
160710 10:05:15 [Note] Recovering after a crash using /data/3306/mysql-bin
160710 10:05:15 [Note] Starting crash recovery... 
160710 10:05:15 [Note] Crash recovery finished. 
160710 10:05:15 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306 
160710 10:05:15 [Note]  - '0.0.0.0' resolves to '0.0.0.0'; 
160710 10:05:15 [Note] Server socket created on IP: '0.0.0.0'. 
160710 10:05:15 [ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exist #提示相關資料庫表未找到 
160710 10:05:15 mysqld_safe mysqld from pid file /data/3306/mysqld.pid ended

準備全量恢復
[[email protected] 3306]# innobackupex --defaults-file=/data/3306/my.cnf --user=root --password=li123456 --apply-log /backup/full/2016-07-10_08-24-43/ 
... 
InnoDB: Waiting for purge to start 
InnoDB: 5.6.24 started; log sequence number 1673228 
xtrabackup: starting shutdown with innodb_fast_shutdown = 1 
InnoDB: FTS optimize thread exiting. 
InnoDB: Starting shutdown... 
InnoDB: Shutdown completed; log sequence number 1673238 
160710 08:42:01 completed OK!

#這裡的apply-log引數意思就是在正真恢復資料庫資料之前，先將資料庫redo日誌狀態恢復

接下來才是將資料檔案恢復
[[email protected] 3306]# innobackupex --defaults-file=/data/3306/my.cnf --copy-back /backup/full/2016-07-10_08-24-43/ 
... 
160710 08:43:41 [01]        ...done
160710 08:43:41 [01] Copying ./mysql/user.frm to /data/3306/data/mysql/user.frm 
160710 08:43:41 [01]        ...done
160710 08:43:41 [01] Copying ./mysql/tables_priv.MYI to /data/3306/data/mysql/tables_priv.MYI 
160710 08:43:41 [01]        ...done
160710 08:43:41 [01] Copying ./mysql/proxies_priv.MYI to /data/3306/data/mysql/proxies_priv.MYI 
160710 08:43:41 [01]        ...done
160710 08:43:41 completed OK!

再更改資料檔案屬組，啟動資料庫成功
[[email protected] 3306]# chown -R mysql.mysql data 
[[email protected] data]# mysqld_safe --defaults-file=/data/3306/my.cnf & 
[1] 90409 
[[email protected] data]# mysql -uroot -pli123456 -S /data/3306/mysql.sock 
mysql> show databases; 
+--------------------+ 
| Database          | 
+--------------------+ 
| information_schema | 
| lichengbing        | #資料表恢復成功 
| lilongzi          | 
| mysql              | 
| performance_schema | 
+--------------------+ 
5 rows in set (0.00 sec)

再來模擬一下增量備份
新插入幾行資料
[[email protected] opt]# mysql -uroot -pli123456 -S /data/3306/mysql.sock lichengbing < /opt/test2.sql 
mysql> select * from lichengbing.test; 
+----+-------+ 
| id | name  | 
+----+-------+ 
|  1 | one  | 
|  2 | two  | 
|  3 | three | 
|  4 | four  | #此時4、5、6相當於資料庫增量檔案 
|  5 | five  | 
|  6 | six  | 
+----+-------+ 
6 rows in set (0.00 sec)

增量備份
[[email protected] opt]# innobackupex --defaults-file=/data/3306/my.cnf --user=root --password=li123456 --incremental /backup/add/ --incremental-basedir=/backup/full/2016-07-10_08-24-43/ 
... 
160710 08:55:15 [00] Writing xtrabackup_info 
160710 08:55:15 [00]        ...done
xtrabackup: Transaction log of lsn (1673693) to (1673693) was copied. 
160710 08:55:15 completed OK! 
[[email protected] add]# cd /backup/add/2016-07-10_08-55-12/ 
[[email protected] 2016-07-10_08-55-12]# cat xtrabackup_checkpoints  
backup_type = incremental 
from_lsn = 1672995 #增量備份的起始LSN號是靠讀取全備xtrabackup_checkpoints檔案得到的 
to_lsn = 1673693 #增量結束LSN號 
last_lsn = 1673693 
compact = 0 
recover_binlog_info = 0

增量恢復
增量恢復和全量恢復有著一些不同，需要注意的是：
1）需要在每個備份（包括完全備份和增量備份）上，將已經提交的事務進行“重放”，重放之後，所有的備份資料將合併到完全備份上；

2）基於所有備份將未提交的事務進行“回滾”

關閉資料庫
[[email protected] ~]# mysqladmin -uroot -pli123456 -S /data/3306/mysql.sock shutdown

執行完全備份的前滾

[[email protected] ~]# innobackupex --defaults-file=/data/3306/my.cnf --user=root --pli123456 --apply-log --redo-only /backup/full/2016-07-10_08-24-43/

##--redo-only 在做增量恢復時，全量和增量備份的資料檔案在恢復前必須將在重做日誌檔案中的已提交的事務前滾！此引數將會合並全備和增量備份的資料檔案，但不包括最後一次增量備份的資料檔案

將全備和增備合併
[[email protected] ~]# innobackupex --defaults-files=/data/3306/my.cnf --user=root --pli123456 --apply-log /backup/full/2016-07-10_08-24-43/ --incremental-dir=/backup/add/2016-07-10_08-55-12/ 
##/backup/full/2016-07-10_08-24-43/ 全備目錄 
##--incremental-dir=/backup/add/2016-07-10_08-55-12/ 增量目錄 
##--redo-only 只有一次增備，所以不需要加這個引數，如果有N次增備，依次恢復增備，除了最後一個每次都要加 --redo-only的引數

破壞資料庫，將全備和增備恢復回來
[[email protected] 3306]# rm -fr data_bak 
[[email protected] 3306]# mv data data_bak 
[[email protected] 3306]# innobackupex --defaults-file=/data/3306/my.cnf --copy-back /backup/full/2016-07-10_08-24-43/ 
... 
160710 09:54:54 [01]        ...done
160710 09:54:54 [01] Copying ./mysql/user.frm to /data/3306/data/mysql/user.frm 
160710 09:54:54 [01]        ...done
160710 09:54:54 [01] Copying ./mysql/tables_priv.MYI to /data/3306/data/mysql/tables_priv.MYI 
160710 09:54:54 [01]        ...done
160710 09:54:55 [01] Copying ./mysql/proxies_priv.MYI to /data/3306/data/mysql/proxies_priv.MYI 
160710 09:54:55 [01]        ...done
160710 09:54:55 completed OK! 
[[email protected] 3306]# chown -R mysql.mysql data

恢復成功，登陸檢視
1234567891011121314 [[email protected] data]# mysqld_safe --defaults-file=/data/3306/my.cnf & 
[[email protected] data]# mysql -uroot -pli123456 -S /data/3306/mysql.sock 
mysql> select * from lichengbing.test; 
+----+-------+ 
| id | name  | 
+----+-------+ 
|  1 | one  | 
|  2 | two  | 
|  3 | three | 
|  4 | four  | 
|  5 | five  | 
|  6 | six  | 
+----+-------+ 
6 rows in set (0.00 sec)

其他一些備份示例
指定資料庫備份
[[email protected] each]# innobackupex --defaults-file=/data/3306/my.cnf  --user=root --password=li123456 --databases="lichengbing" /backup/each/

指定表備份
[[email protected] each]# innobackupex --defaults-file=/data/3306/my.cnf  --user=root --password=li123456 --databases="lichengbing test" /backup/each/

以壓縮格式備份
[[email protected] full]# innobackupex --defaults-file=/data/3306/my.cnf  --user=root --password=li123456 --stream=tar /backup/full/|gzip>/backup/full/back_`date +%F`.tar.gz