2. 程式人生 > >MySQL主備複製原理、實現及異常處理

MySQL主備複製原理、實現及異常處理

阿新 • • 發佈：2019-01-29

複製概述

MySQL支援三種複製方式：基於行(Row)的複製、基於語句(Statement)的複製和混合型別(Mixed)的複製。

基於語句的複製早在3.23版本中就存在，而基於行的複製方式在5.1版本中才被加進來。這兩種方式都是通過在主庫上記錄二進位制日誌、在備庫重放日誌的方式來實現非同步的資料複製。

混合型別的複製：預設採用基於語句的複製，一旦發現基於語句的無法精確的複製時，就會採用基於行的複製。

複製通常不會增加主庫的開銷，主要是啟用二進位制日誌帶來的開銷，但出於備份或及時從崩潰中恢復的目的，這點開銷也是必要的。除此之外，每個備庫也會對主庫增加一些負載（例如網路I/O開銷），尤其當備庫請求從主庫讀取舊的二進位制日誌檔案時，可能會造成更高的I/O開銷。另外鎖競爭也可能阻礙事務的提交。最後，如果是從一個高吞吐量的主庫上覆制到多個備庫，喚醒多個複製執行緒傳送事件的開銷將會累加。

工作原理

mysql主備複製實現分成三個步驟：

  1. master將改變記錄到二進位制日誌(binary log)中（這些記錄叫做二進位制日誌事件，binary log events，可以通過show binlog events進行檢視）；
  2. slave將master的binary log events拷貝到它的中繼日誌(relay log)；
  3. slave重做中繼日誌中的事件，將改變反映它自己的資料。

以上只是概述，實際上每一步都很複雜：
[圖片]

  • 第一步是在主庫上記錄二進位制日誌。在每次準備提交事務完成資料更新前，主庫將資料更新的事件記錄到二進位制日誌中。MySQL會按事務提交的順序而非每條語句的執行順序來記錄二進位制日誌。在記錄二進位制日誌後，主庫會告訴儲存引擎可以提交事務了。
  • 下一步，備庫將主庫的二進位制日誌複製到其本地的中繼日誌中。首先，備庫會啟動一個工作執行緒。稱為I/O執行緒，I/O執行緒跟主庫建立一個普通的客戶端連線，然後在主庫上啟動一個特殊的二進位制轉儲（binlog dump）執行緒，這個二進位制轉儲執行緒會讀取主庫上二進位制日誌中的事件。它不會對事件進行輪詢。如果該執行緒追趕上了主庫，它將進入睡眠狀態，直到主庫傳送訊號量通知其有新的事件產生時才會被喚醒，備庫I/O執行緒會將接收到的事件記錄到中繼日誌中。
  • 備庫的SQL執行緒執行最後一步，該執行緒從中繼日誌中讀取事件並在備庫執行，從而實現備庫資料的更新。當SQL執行緒趕上I/O執行緒時，中繼日誌通常已經在系統快取中，所以中繼日誌的開銷很低。SQL執行緒執行的事件也可以通過配置選項來決定是否寫入其自己的二進位制日誌中，它對我們稍後提到的場景非常有用。

主備配置

許可權配置

mysql>GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'root@'%' IDENTIFIED BY 'root';

複製賬戶事實上只需要有主庫上的REPLICATION SLAVE許可權，並不一定需要每一端伺服器都有REPLICATION CLIENT許可權，那麼為什麼我們要把這兩種許可權給主/備庫都賦予呢？這有兩個原因：
1. 用來監控和管理複製的賬號需要REPLICATION CLIENT許可權，並且針對這兩種目的使用同一個賬號更加容易。
2. 如果在主庫上建立了賬號，然後從主庫將資料克隆到備庫上時，備庫也就設定好了——變成主庫所需要的配置。這樣後續有需要可以方便地交換主備庫的角色。
如果無腦式配置可以：

主備庫配置

關停Master伺服器，將Master中的資料拷貝到B伺服器中，使得Master和slave中的資料同步，並且確保在全部設定操作結束前，禁止在Master和slave伺服器中進行寫操作，使得兩資料庫中的資料一定要相同！
備註：文中採用的案例中主備庫都有5個schema：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| canal_test         |
| mysql              |
| performance_schema |
| test               |
+--------------------+

主庫的/etc/my.cnf配置(主機host:xx.xx.xx.73)

[mysqld]
log-bin=mysql-bin
server-id=1

備庫上也需要在/ect/my.cnf進行配置(備機host:xx.xx.xx.60)

[mysqld]
log-bin=mysql-bin
server-id=2
relay_log=mysql-relay-bin
log_slave_updates=1
read_only=1

server_id 是必須的，而且唯一。slave沒有必要開啟二進位制日誌，但是在一些情況下，必須設定，例如，如果slave為其它slave的master，必須設定 bin_log。在這裡，我們開啟了二進位制日誌，而且顯示的命名(預設名稱為hostname，但是，如果hostname改變則會出現問題)。

relay_log配置中繼日誌，log_slave_updates表示slave將複製事件寫進自己的二進位制日誌(後面會看到它的用處)。

有 些人開啟了slave的二進位制日誌，卻沒有設定log_slave_updates，然後檢視slave的資料是否改變，這是一種錯誤的配置。所以，儘量 使用read_only，它防止改變資料(除了特殊的執行緒)。但是，read_only並是很實用，特別是那些需要在slave上建立表的應用。

啟動slave

接 下來就是讓slave連線master，並開始重做master二進位制日誌中的事件。你不應該用配置檔案進行該操作，而應該使用CHANGE MASTER TO語句，該語句可以完全取代對配置檔案的修改，而且它可以為slave指定不同的master，而不需要停止伺服器。如下：

mysql> CHANGE MASTER TO 
    -> MASTER_HOST='xx.xx.xx.73',
    -> MASTER_USER='root',
    -> MASTER_PASSWORD='xxxx',
    -> MASTER_LOG_FILE='mysql-bin.000004',
    -> MASTER_LOG_POS=0;

MASTER_LOG_POS的值為0，因為它是日誌的開始位置。
你可以用SHOW SLAVE STATUS語句檢視slave的設定是否正確：

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: 
                  Master_Host: xx.xx.xx.73
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 4
               Relay_Log_File: mysql-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: No
            Slave_SQL_Running: No
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 4
              Relay_Log_Space: 107
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 0
1 row in set (0.00 sec)

Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running是No表明slave還沒有開始複製過程。日誌的位置為4而不是0，這是因為0只是日誌檔案的開始位置，並不是日誌位置。實際上，MySQL知道的第一個事件的位置是4。

為了開始複製，你可以執行：

mysql> start slave;

執行show slave status檢視輸出結果：

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: xx.xx.xx.73
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 2395
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 253
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 2395
              Relay_Log_Space: 409
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1

在這裡主要是看:

                   Slave_IO_Running=Yes
                   Slave_SQL_Running=Yes

slave的I/O和SQL執行緒都已經開始執行，而且Seconds_Behind_Master不再是NULL。日誌的位置增加了，意味著一些事件被獲取並執行了。如果你在master上進行修改，你可以在slave上看到各種日誌檔案的位置的變化，同樣，你也可以看到資料庫中資料的變化。

（如果此時Slave_SQL_Running=No，可以參考下一節“異常情況處理”進行解決）

你可檢視master和slave上執行緒的狀態。在master上，你可以看到slave的I/O執行緒建立的連線(Binlog Dump)：
在master上輸入show processlist\G;

mysql> show processlist\G
*************************** 1. row ***************************
     Id: 30
   User: root
   Host: localhost
     db: canal_test
Command: Query
   Time: 0
  State: NULL
   Info: show processlist
*************************** 2. row ***************************
     Id: 33
   User: root
   Host: xx.xx.xx.xx:49005
     db: NULL
Command: Binlog Dump
   Time: 33
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL

同樣，在備庫也可以看到兩個執行緒，一個是I/O執行緒，一個是SQL執行緒（Connect）：

mysql> show processlist\G
*************************** 1. row ***************************
     Id: 3
   User: root
   Host: xx.xx.xx.60:62159
     db: NULL
Command: Binlog Dump
   Time: 67811
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
*************************** 2. row ***************************
     Id: 14
   User: root
   Host: localhost
     db: canal_test
Command: Query
   Time: 0
  State: NULL
   Info: show processlist
*************************** 3. row ***************************
     Id: 19
   User: root
   Host: xx.xx.xx.60:62390
     db: NULL
Command: Sleep
   Time: 187
  State: 
   Info: NULL
*************************** 4. row ***************************
     Id: 20
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 64
  State: Waiting for master to send event
   Info: NULL
*************************** 5. row ***************************
     Id: 21
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 64
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL

異常情況處理

在上一小節中在start slave之後進行show slave status就出現了想要的結果——“Slave_SQL_Running=Yes”.但是有些時候，卻不是這樣的：

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: xx.xx.xx.73
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000004
          Read_Master_Log_Pos: 2172
               Relay_Log_File: mysql-relay-bin.000002
                Relay_Log_Pos: 253
        Relay_Master_Log_File: mysql-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 1007
                   Last_Error: Error 'Can't create database 'canal_test'; database exists' on query. Default database: 'canal_test'. Query: 'create database canal_test'
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 107
              Relay_Log_Space: 2474
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 1007
               Last_SQL_Error: Error 'Can't create database 'canal_test'; database exists' on query. Default database: 'canal_test'. Query: 'create database canal_test'
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 1

可以看到Slave_SQL_Running=No，那麼該怎麼解決呢？

解決方案1
程式可能在slave上進行了寫操作，也可能是slave機器重啟後事務回滾造成的。
如果是事務回滾造成的，可以：

mysql> slave stop;
Query OK, 0 rows affected (0.00 sec)

mysql> set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
Query OK, 0 rows affected (0.00 sec)

mysql> slave start;
Query OK, 0 rows affected (0.00 sec)

最後通過show slave status進行檢視。

解決方案2
首先停掉slave服務：

mysql> slave stop;

到master上檢視主機狀態：

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000004 |     2395 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

然後到slave伺服器上執行手動同步：

mysql> change master to 
    -> master_host='xx.xx.xx.73',
    -> master_user='root',
    -> master_password='xxxx',
    -> master_port=3306,
    -> master_log_file='mysql-bin.000004',
    -> master_log_pos=2395;
mysql> slave start;

案例測試

在master上的Schema Name: canal_test中有一個perosn的表，表結構如下：

mysql> describe person;
+-------+--------------+------+-----+---------+-------+
| Field | Type         | Null | Key | Default | Extra |
+-------+--------------+------+-----+---------+-------+
| id    | int(11)      | NO   | PRI | NULL    |       |
| name  | varchar(100) | YES  |     | NULL    |       |
| age   | int(11)      | YES  |     | NULL    |       |
| sex   | char(1)      | YES  |     | NULL    |       |
+-------+--------------+------+-----+---------+-------+

表中有一條記錄：

mysql> select * from person;
+----+------+------+------+
| id | name | age  | sex  |
+----+------+------+------+
|  2 | zzh2 |   21 | m    |
+----+------+------+------+

（注意此時slave中的資料是一樣的）
往master上插入一條資料，之後檢視：

mysql> insert into person values(1,'zzh',22,'m');
mysql> select * from person;
+----+------+------+------+
| id | name | age  | sex  |
+----+------+------+------+
|  1 | zzh  |   22 | m    |
|  2 | zzh2 |   21 | m    |
+----+------+------+------+

可以看到master中成功插入了一條資料，之後可以同樣在slave中輸入select * from person來檢視，如果結果master和slave相同，那麼恭喜你主備複製已經成功了。

參考資料

  1. 《Optimization, Backups and Replication High Performance MySQL》Baron schwartz, Peter Zaitsev, Vadim Tkachenko.

歡迎支援《RabbitMQ實戰指南》以及關注微信公眾號：朱小廝的部落格。

相關推薦

MySQL主備複製原理、實現及異常處理

複製概述 MySQL支援三種複製方式：基於行(Row)的複製、基於語句(Statement)的複製和混合型別(Mixed)的複製。 基於語句的複製早在3.23版本中就存在，而基於行的複製方式在5.1版本中才被加進來。這兩種方式都是通過在主庫上記錄二進位制日誌

CVPR論文《100+ Times FasterWeighted Median Filter (WMF)》的實現和解析（附原始碼）。 任意半徑中值濾波（擴充套件至百分比濾波器）O(1)時間複雜度演算法的原理、實現及效果 任意半徑中值濾波（擴充套件至百分比濾波器）O(1)時間複雜度演算法的原理、實現及

　　四年前第一次看到《100+ Times FasterWeighted Median Filter (WMF)》一文時，因為他附帶了原始碼，而且還是CVPR論文，因此，當時也對程式碼進行了一定的整理和解讀，但是當時覺得這個演算法雖然對原始速度有不少的提高，但是還是比較慢。因此，沒有怎麼在意，這幾天有幾位朋友

Java常用演算法原理、實現及總結

一、概念 1、內部排序與外排序 內部排序：待排序記錄存放在計算機隨機儲存器中（說簡單點，就是記憶體）進行的排序過程，接下來講的十大演算法都是內部排序。 外部排序：待排序記錄的數量很大，以致於記憶體不能一次容納全部記錄，所以在排序過程中需要對外存進行訪問的排序過程

二分查詢（折半查詢）演算法（原理、實現及時間複雜度）

查詢也是有特殊情況的，比如數列本身是有序的。這個有序數列是怎麼產生的呢？有時它可能本身就是有序的，也有可能是我們通過之前所學的排序演算法得到的。 不管怎麼說，我們現在已經得到了有序數列了並需要查詢。這時二分查詢該出場了。 二分查詢（Binary Search）也叫作折半查詢。二分查詢有兩個要求，一個是數列

分塊查詢演算法完全攻略（原理、實現及時間複雜度）

一般對於需要查詢的待查資料元素列表來說，如果很少變化或者幾乎不變，則我們完全可以通過排序把這個列表排好序以便我們以後查詢。但是對於經常增加資料元素的列表來說，要是每次增加資料都排序的話，那真的是有點太累人了。 所以之前我們分析過，對於幾乎不變的資料列表來說，排序之後使用二分查詢是很不錯的，但是對於經常變動的

順序查詢演算法（原理、實現及時間複雜度）

一提到查詢，比如從一個數列中查詢第1個值為k的數，那麼我們最先想到的肯定是一個一個地找。從數列的第 1 個數開始對比，直到找到值為k的數。 順序查詢的定義為：在一個已知無序（或有序）的佇列中找出與給定的關鍵字相同的數的具體位置。其原理是讓關鍵字與佇列中的數從開始一個一個地往後逐個比較，直到找到與給定的關鍵字

mysql主備複製搭建

這裡我使用單臺伺服器上的兩個mysql例項進行搭建，主要用到了mysql自帶的mysqld_multi 一、複製原理 開始搭建前有個mysql複製原理的基礎知識需要補充: mysql進行主備複製使用到了三個執行緒： 1.主庫上的轉儲存執行緒:     會將mysql se

TrieTree字典樹資料結構的原理、實現及應用

一、基本知識 字典樹(TrieTree)，又稱單詞查詢樹或鍵樹，是一種樹形結構，是一種雜湊樹的變種。典型應用是用於統計和排序大量的字串（但不僅限於字串），所以經常被搜尋引擎系統用於文字詞頻統計。它的優點是：最大限度地減少無謂的字串比較，查詢效率比雜湊表高。

【C#】氣泡排序、隱式和顯式轉換、函式及異常處理

一、普通氣泡排序： C#中常見的排序方法有：氣泡排序，快速排序，插入排序，選擇排序、堆排序以及歸併排序。雖然還沒學習過，但是也有耳聞，就先把它們先歸類。今天主要講這裡面最常見的氣泡排序。 【概念】 氣泡排序也就是講一組需要排序的數，進行從小到大，或從大到小的排列。計算機

MySQL主從複製原理、半同步操作步驟及原理

1.1 企業Linux運維場景資料同步方案 1.1.1 檔案級別的異機同步方案 1、scp/sftp/nc 命令可以實現遠端資料同步。  2、搭建ftp/http/svn/nfs 伺服器，然後在客戶端上也可以把資料同步到伺服器。  3、搭建sa

十三種基於直方圖的影象全域性二值化演算法原理、實現、程式碼及效果。

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！        

mysql+mycat搭建穩定高可用叢集，負載均衡，主備複製，讀寫分離

資料庫效能優化普遍採用叢集方式，oracle叢集軟硬體投入昂貴，今天花了一天時間搭建基於mysql的叢集環境。 主要思路 簡單說，實現mysql主備複製-->利用mycat實現負載均衡。 比較了常用的讀寫分離方式，推薦mycat，社群活躍，效能穩定。 測試環境 MYSQL版

Java基礎之多執行緒之原理、實現方式及匿名內部類建立執行緒方法

一、概念 程序：作業系統當中正在執行的一個程式。例如正在執行一個QQ。 執行緒：程序之內多工的執行單位。例如迅雷當中正在下載的多個電影。 JVM當中：棧（Stack）記憶體是執行緒獨立的，堆（Heap）記憶體是執行緒共享的。 （1）Java程式執行的時候至少有兩個執行緒： 1）主

讀《分散式物件儲存——原理、架構及 GO 語言實現》

單機 PUT 方式上傳介面，GET 下載介面。 分散式的，使用者客戶端，介面服務，儲存服務介面，本地磁碟。 上傳介面 定位介面   之後就沒有一一統計書中實現的介面了。 書中說還有視訊，我還沒有看。一本講分散式物件儲存系統的書，程式碼是用 GO 實現的，書

驗證碼的原理、作用及實現

驗證碼原理分析及實現一、前言    最近學習實現了驗證碼，首先附圖效果如下：(    簡單說明：        分別提交正確、錯誤的驗證碼及對應效果         本文是圖文結合說明)       

MySQL建立雙向主備複製伺服器配置方法

1、環境描述　　伺服器A(主) 192.85.1.175 　　伺服器B(從) 192.85.1.176　　Mysql版本：5.1.61        系統版本：System OS：ubuntu 10.10 X86 （系統安裝及資料環境搭建，省略） 2. 建立同步使用者： 在

mysql主備模式的讀寫分離與主從複製

從資料庫層面上對負載做優化的方法各式各樣。從書上看到分表分庫等常見手段，後來學習別人部落格才明白分表分庫各自天生缺點使他無法成為主流而並沒有那麼多人用，正好畢業設計想嘗試一下主從的架構，所以這裡一邊搭建一邊做記錄。 目錄： 1.介紹 2.應用層面實現mysql讀寫分離

哈希(Hash)與加密(Encrypt)的基本原理、區別及工程應用

class 區別 自己 裏的 lpad returns .net 角度 table 0、摘要 今天看到吉日嘎拉的一篇關於管理軟件中信息加密和安全的文章，感覺非常有實際意義。文中作者從實踐經驗出發，討論了信息管理軟件中如何通過哈希和加密進行數據保護。但是從文章評論

【轉】哈希(Hash)與加密(Encrypt)的基本原理、區別及工程應用

phy 理論 靈活運用 十分 實際應用 廣泛 tle 多網站 net 0、摘要 今天看到吉日嘎拉的一篇關於管理軟件中信息加密和安全的文章，感覺非常有實際意義。文中作者從實踐經驗出發，討論了信息管理軟件中如何通過哈希和加密進行數據保護。但是從文章評論中也可以

MySQL中函數CONCAT、CONCAT_WS及GROUP_CONCAT

tinc sig form 運行時 使用 desc 結合 esc 缺省 一、CONCAT（）函數CONCAT（）函數用於將多個字符串連接成一個字符串。使用數據表Info作為示例，其中SELECT id,name FROM info LIMIT 1;的返回結果為+----+-