1. 程式人生 > >Mysql之主從架構的複製原理及主從/雙主配置詳解(二)

Mysql之主從架構的複製原理及主從/雙主配置詳解(二)

3.深入瞭解複製

3.1、基於語句的複製(Statement-BasedReplication)

         MySQL5.0及之前的版本僅支援基於語句的複製(也叫做邏輯複製,logical replication),這在資料庫並不常見。master記錄下改變資料的查詢,然後,slave從中繼日誌中讀取事件,並執行它,這些SQL語句與master執行的語句一樣。

這種方式的優點就是實現簡單。此外,基於語句的複製的二進位制日誌可以很好的進行壓縮,而且日誌的資料量也較小,佔用頻寬少——例如,一個更新GB的資料的查詢僅需要幾十個位元組的二進位制日誌。而mysqlbinlog對於基於語句的日誌處理十分方便。

   但是,基於語句的複製並不是像它看起來那麼簡單,因為一些查詢語句依賴於master的特定條件,例如,master與slave可能有不同的時間。所以,MySQL的二進位制日誌的格式不僅僅是查詢語句,還包括一些元資料資訊,例如,當前的時間戳。即使如此,還是有一些語句,比如,CURRENT USER函式,不能正確的進行復制。此外,儲存過程和觸發器也是一個問題。

    另外一個問題就是基於語句的複製必須是序列化的。這要求大量特殊的程式碼,配置,例如InnoDB的next-key鎖等。並不是所有的儲存引擎都支援基於語句的複製。

3.2、基於記錄的複製(Row-Based Replication)

     MySQL增加基於記錄的複製,在二進位制日誌中記錄下實際資料的改變,這與其它一些DBMS的實現方式類似。這種方式有優點,也有缺點。優點就是可以對任何語句都能正確工作,一些語句的效率更高。主要的缺點就是二進位制日誌可能會很大,而且不直觀,所以,你不能使用mysqlbinlog來檢視二進位制日誌。
對於一些語句,基於記錄的複製能夠更有效的工作,如:
mysql> INSERT INTO summary_table(col1, col2, sum_col3)
   -> SELECT col1, col2, sum(col3)
   -> FROM enormous_table
   -> GROUP BY col1, col2;
    假設,只有三種唯一的col1和col2的組合,但是,該查詢會掃描原表的許多行,卻僅返回三條記錄。此時,基於記錄的複製效率更高。
   另一方面,下面的語句,基於語句的複製更有效:
mysql> UPDATE enormous_table SET col1 = 0;
此時使用基於記錄的複製代價會非常高。由於兩種方式不能對所有情況都能很好的處理,所以,MySQL 5.1支援在基於語句的複製和基於記錄的複製之前動態交換。你可以通過設定session變數binlog_format來進行控制。

3.3、複製相關的檔案

除了二進位制日誌和中繼日誌檔案外,還有其它一些與複製相關的檔案。如下:

(1)mysql-bin.index

伺服器一旦開啟二進位制日誌,會產生一個與二日誌檔案同名,但是以.index結尾的檔案。它用於跟蹤磁碟上存在哪些二進位制日誌檔案。MySQL用它來定位二進位制日誌檔案。

(2)mysql-relay-bin.index

該檔案的功能與mysql-bin.index類似,但是它是針對中繼日誌,而不是二進位制日誌。

(3)master.info

儲存從伺服器連線至主服務時所需要的資訊,每行一個值儲存master的相關資訊。不要刪除它,否則,slave重啟後不能連線master。

(4)relay-log.info

儲存了複製位置:包括二進位制日誌和中繼日誌的檔案及位置。

3.4、傳送複製事件到其它slave

當設定log_slave_updates時,你可以讓slave扮演其它slave的master。此時,slave把SQL執行緒執行的事件寫進行自己的二進位制日誌(binary log),然後,它的slave可以獲取這些事件並執行它。如下:

wKioL1NOPNPSXgYeAAGOF1KjhsU124.jpg

3.5、複製過濾(Replication Filters)

複製過濾可以讓你只復***務器中的一部分資料,有兩種複製過濾:在master上過濾二進位制日誌中的事件;在slave上過濾中繼日誌中的事件。如下:

wKioL1NOPYSwF1NvAAF4FoH_Luk325.jpg

4.複製的常用拓撲結構

複製的體系結構有以下一些基本原則:
(1)每個slave可以有一個或多個master;
(2)每個slave只能有一個唯一的伺服器ID;
(3)每個master可以有很多slave;
(4)如果設定log_slave_updates,slave可以是其它slave的master,從而擴散master的更新。

在早期的MySQL是不支援多主伺服器複製(Multimaster Replication)——即一個slave可以有多個master的場景,但是MariaDB目前已經支援。但是,通過一些簡單的組合,我們卻可以建立靈活而強大的複製體系結構。



4.1、單一master和多slave

由一個master和一個slave組成複製系統是最簡單的情況。Slave之間並不相互通訊,只能與master進行通訊。

在實際應用場景中,MySQL複製90%以上都是一個Master複製到一個或者多個Slave的架構模式,主要用於讀壓力比較大的應用的資料庫端廉價擴充套件解決方案。因為只要Master和Slave的壓力不是太大(尤其是Slave端壓力)的話,非同步複製的延時一般都很少很少。尤其是自從Slave端的複製方式改成兩個執行緒處理之後,更是減小了Slave端的延時問題。而帶來的效益是,對於資料實時性要求不是特別Critical的應用,只需要通過廉價的pcserver來擴充套件Slave的數量,將讀壓力分散到多臺Slave的機器上面,即可通過分散單臺數據庫伺服器的讀壓力來解決資料庫端的讀效能瓶頸,畢竟在大多數資料庫應用系統中的讀壓力還是要比寫壓力大很多。這在很大程度上解決了目前很多中小型網站的資料庫壓力瓶頸問題,甚至有些大型網站也在使用類似方案解決資料庫瓶頸。

如下:

wKiom1NOQB6wKpInAACPFzueKiI373.jpg

如果寫操作較少,而讀操作很時,可以採取這種結構。你可以將讀操作分佈到其它的slave,從而減小master的壓力。但是,當slave增加到一定數量時,slave對master的負載以及網路頻寬都會成為一個嚴重的問題。
這種結構雖然簡單,但是,它卻非常靈活,足夠滿足大多數應用需求。一些建議:
(1)    不同的slave扮演不同的作用(例如使用不同的索引,或者不同的儲存引擎);
(2)    用一個slave作為備用master,只進行復制;
(3)    用一個遠端的slave,用於災難恢復;

大家應該都比較清楚,從一個Master節點可以複製出多個Slave節點,可能有人會想,那一個Slave節點是否可以從多個Master節點上面進行復制呢?這是完全可以實現的,目前在MariaDB中已經實現multi-master replication 功能;可參考



4.2、主動模式的Master-Master(Master-Master in Active-Active Mode)

Master-Master複製的兩臺伺服器,既是master,又是另一臺伺服器的slave。這樣,任何一方所做的變更,都會通過複製應用到另外一方的資料庫中。 可能有些讀者朋友會有一個擔心,這樣搭建複製環境之後,難道不會造成兩臺MySQL之間的迴圈複製麼?實際上MySQL自己早就想到了這一點,所以在MySQL的BinaryLog中記錄了當前MySQL的server-id,而且這個引數也是我們搭建MySQLReplication的時候必須明確指定,而且Master和Slave的server-id引數值比需要不一致才能使MySQLReplication搭建成功。一旦有了server-id的值之後,MySQL就很容易判斷某個變更是從哪一個MySQLServer最初產生的,所以就很容易避免出現迴圈複製的情況。而且,如果我們不開啟記錄Slave的BinaryLog的選項(--log-slave-update)的時候,MySQL根本就不會記錄複製過程中的變更到BinaryLog中,就更不用擔心可能會出現迴圈複製的情形了。 如圖:

wKioL1NOP_SAmSANAABJisdmItQ735.jpg

   主動的Master-Master複製有一些特殊的用處。例如,地理上分佈的兩個部分都需要自己的可寫的資料副本。這種結構最大的問題就是更新衝突。假設一個表只有一行(一列)的資料,其值為1,如果兩個伺服器分別同時執行如下語句:
在第一個伺服器上執行:
mysql> UPDATE tbl SET col=col + 1;
在第二個伺服器上執行:
mysql> UPDATE tbl SET col=col * 2;
那麼結果是多少呢?一臺伺服器是4,另一個伺服器是3,但是,這並不會產生錯誤。

實際上,MySQL並不支援其它一些DBMS支援的多主伺服器複製(Multimaster Replication),這是MySQL的複製功能很大的一個限制(多主伺服器的難點在於解決更新衝突),但是,如果你實在有這種需求,你可以採用MySQL Cluster,以及將Cluster和Replication結合起來,可以建立強大的高效能的資料庫平臺。但是,可以通過其它一些方式來模擬這種多主伺服器的複製。


示例:雙主模式配置:

環境:

Master1/Master2 Platfrom IP APP Version
Master1 CentOS6.5_X86-64    172.16.41.1   mariadb-10.0.10
Master2 CentOS6.5_X86-64   172.16.41.2 mariadb-10.0.10

1.配置雙主:

#Master1的配置:

(1)修改server-id 主配置檔案/etc/my.cnf [mysqld]段中,修改如下行:
server-id  =  1
(2)啟用中繼日誌,二進位制日誌

主配置檔案/etc/my.cnf [mysqld]段中,修改如下行:

log-bin = /mydata/binlogs/master1-bin

relay-log = /mydata/relaylogs/relay-bin

確保中繼日誌選項開啟

MariaDB [(none)]> SHOW GLOBAL  VARIABLES LIKE 'relay_log';
+---------------+-----------------------------+
| Variable_name | Value                       |
+---------------+-----------------------------+
| relay_log     | /mydata/relaylogs/relay-bin |
+---------------+-----------------------------+
1 row in set (0.00 sec)

(3)新增下面兩項,以避免在MySQL自動為INSERT語句選擇不互相沖突的值

auto-increment-offset = 1     //起始值

auto-increment-increment = 2   //步長

確保自動增長選項已開啟:

MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE 'auto_inc%';

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| auto_increment_increment | 2     |

| auto_increment_offset    | 1     |

+--------------------------+-------+

(4)建立有複製許可權的使用者,命令如下:

MariaDB [(none)]> CREATE USER 'luccy'@'172.16.41.2' IDENTIFIED BY 'qazwsx123';
MariaDB [(none)]> REVOKE ALL PRIVILEGES ,GRANT OPTION FROM 'luccy'@'172.16.41.2';
MariaDB [(none)]> GRANT RELOAD,LOCK TABLES, REPLICATION CLIENT ,REPLICATION SLAVE ON *.* TO 'luccy'@'172.16.41.2';

MariaDB [(none)]> FLUSH PRIVILEGES;

#Master2的配置:

(1)修改server-id#

主配置檔案/etc/my.cnf [mysqld]段中,修改如下行:
server-id  =  2
(2)啟用中繼日誌,二進位制日誌

log-bin = /mydata/binlogs/master2-bin  

relay-log = /mydata/relaylogs/relay-bin

確保中繼日誌選項開啟

MariaDB [(none)]> SHOW GLOBAL  VARIABLES LIKE 'relay_log';
+---------------+-----------------------------+
| Variable_name | Value                       |
+---------------+-----------------------------+
| relay_log     | /mydata/relaylogs/relay-bin |
+---------------+-----------------------------+

(3)新增下面兩項,以避免在MySQL自動為INSERT語句選擇不互相沖突的值

auto-increment-offset = 2     //起始值

auto-increment-increment = 2   //步長

確保自動增長選項已開啟:

MariaDB [(none)]> SHOW GLOBAL VARIABLES LIKE 'auto_inc%';

+--------------------------+-------+

| Variable_name            | Value |

+--------------------------+-------+

| auto_increment_increment | 2    |

| auto_increment_offset    | 2    |

+--------------------------+-------+

(4)建立有複製許可權的使用者,命令如下:

MariaDB [(none)]> CREATE USER 'jerry'@'172.16.41.1' IDENTIFIED BY 'qazwsx123';
MariaDB [(none)]> REVOKE ALL PRIVILEGES ,GRANT OPTION FROM 'jerry'@'172.16.41.1';
MariaDB [(none)]> GRANT RELOAD,LOCK TABLES, REPLICATION CLIENT ,REPLICATION SLAVE ON *.* TO 'jerry'@'172.16.41.1';

MariaDB [(none)]> FLUSH PRIVILEGES;

   如果此時兩臺伺服器均為新建立,且無其它寫入操作,各伺服器只需記錄當前自己二進位制日誌檔案及事件位置,以之作為另外的伺服器複製起始位置即可

#Master1:

MariaDB [(none)]> SHOW MASTER STATUS;

+--------------------+----------+--------------+------------------+

| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+--------------------+----------+--------------+------------------+

master1-bin.000001 |      969 |              |                  |

+--------------------+----------+--------------+------------------+

#Master2:

MariaDB [(none)]> SHOW MASTER STATUS;

+--------------------+----------+--------------+------------------+

| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+--------------------+----------+--------------+------------------+

master2-bin.000001 |      314 |              |                  |

+--------------------+----------+--------------+------------------+

   各伺服器接下來指定對另一臺伺服器為自己的主伺服器

#Master1指向Master2

MariaDB [(none)]> CHANGE MASTER TO MASTER_USER='luccy',MASTER_HOST='172.16.41.2',MASTER_PASSWORD='qazwsx123',MASTER_LOG_FILE='master2-bin.000005',MASTER_LOG_POS=328;

#Master2指向Master1

MariaDB [(none)]> CHANGE MASTER TO MASTER_USER='jerry',MASTER_HOST='172.16.41.1',MASTER_PASSWORD='qazwsx123',MASTER_LOG_FILE='master1-bin.000005',MASTER_LOG_POS=1592;

   啟動個伺服器複製程序

#Master1

MariaDB [(none)]> START SLAVE;

MariaDB [mysql]> SHOW SLAVE STATUS\G

*************************** 1. row ***************************

              Slave_IO_State: Waiting for master to send event

                 Master_Host: 172.16.41.2

                 Master_User: jerry

                 Master_Port: 3306

               Connect_Retry: 60

             Master_Log_File: master2-bin.000006

         Read_Master_Log_Pos: 328

              Relay_Log_File: relay-bin.000004

               Relay_Log_Pos: 617

       Relay_Master_Log_File: master2-bin.000006

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

             Replicate_Do_DB:

               ..........

               ..........

#Master2

MariaDB [(none)]> START SLAVE;

MariaDB [(none)]> SHOW SLAVE STATUS\G

*************************** 1. row ***************************

              Slave_IO_State: Waiting for master to send event

                 Master_Host: 172.16.41.1

                 Master_User: luccy

                 Master_Port: 3306

               Connect_Retry: 60

             Master_Log_File: master1-bin.000005

         Read_Master_Log_Pos: 1592

              Relay_Log_File: relay-bin.000002

               Relay_Log_Pos: 537

       Relay_Master_Log_File: master1-bin.000005

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

             Replicate_Do_DB:

               ..........
               ..........

雙主測試:

(1)在Master1上建立資料庫 testdb:

MariaDB [(none)]> CREATE DATABASE testdb;

MariaDB [(none)]> SHOW DATABASES;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| mysql              |

| performance_schema |

| test               |

testdb            |

+--------------------+

在Master2上檢視結果與在Master1上所查得結果一樣!

(2)在Master1上建立資料庫 mydb:

MariaDB [(none)]> SHOW DATABASES;

+--------------------+

| Database           |

+--------------------+

| information_schema |

mydb               |

| mysql              |

| performance_schema |

| test               |

| testdb             |

+--------------------+

Master1上檢視結果與在Master2上所查得結果一樣!

(3)在Master1的mydb上面新建一張表mytable1,並插入語句

MariaDB [(none)]> use mydb

MariaDB [mydb]> CREATE TABLE mytable1 (ID INT AUTO_INCREMENT UNIQUE KEY, Name CHAR(20));

MariaDB [mydb]> DESC mytable1;

+-------+----------+------+-----+---------+----------------+

| Field | Type     | Null | Key | Default | Extra          |

+-------+----------+------+-----+---------+----------------+

| ID    | int(11)  | NO   | PRI | NULL    | auto_increment |

| Name  | char(20) | YES  |     | NULL    |                |

+-------+----------+------+-----+---------+----------------+

MariaDB [mydb]> INSERT INTO mytable1(Name) VALUES ('larry'),('jim'),('jerry');

Query OK, 3 rows affected (0.01 sec)

Records: 3  Duplicates: 0  Warnings: 0

MariaDB [mydb]> SELECT * FROM mytable1;

+----+-------+

| ID | Name  |

+----+-------+

|  1 | larry|  //自動增長的效果,在Master1上定義的起始值為1,步徑為2

|  3jim  |

|  5 | jerry|

+----+-------+

在Master2上面插入欄位(以上內容已經同步到Master2)

MariaDB [mydb]>INSERT INTO mytable1(Name) VALUES ('Zhang San'),('Li Si'),('Wang Wu');

MariaDB [mydb]> SELECT * FROM mytable1;

+----+-----------+

| ID | Name      |

+----+-----------+

|  1 | larry     |

|  3 | jim      |

|  5 | jerry     |

|  6 | Zhang San |

|  8 | Li Si     |

10 | Wang Wu   |

+----+-----------+

//看來不是想要的結果,雖然說MySQL自動為INSERT選擇的值不會再出現互相沖突的情況,但是貌似沒有按數字排序,找不到解決這個問題的辦法,除非不選擇用雙主模式!


4.3、主動-被動模式的Master-Master(Master-Master in Active-Passive Mode)

這是master-master結構變化而來的,它避免了M-M的缺點,實際上,這是一種具有容錯和高可用性的系統。它的不同點在於其中一個服務只能進行只讀操作。如圖:

wKiom1NRQvyD4Q1dAABIsY-WKGc195.jpg


4.4 級聯複製架構 Master –Slaves - Slaves

在有些應用場景中,可能讀寫壓力差別比較大,讀壓力特別的大,一個Master可能需要上10臺甚至更多的Slave才能夠支撐注讀的壓力。這時候,Master就會比較吃力了,因為僅僅連上來的SlaveIO執行緒就比較多了,這樣寫的壓力稍微大一點的時候,Master端因為複製就會消耗較多的資源,很容易造成複製的延時。

遇到這種情況如何解決呢?這時候我們就可以利用MySQL可以在Slave端記錄複製所產生變更的BinaryLog資訊的功能,也就是開啟—log-slave-update選項。然後,通過二級(或者是更多級別)複製來減少Master端因為複製所帶來的壓力。也就是說,我們首先通過少數幾臺MySQL從Master來進行復制,這幾臺機器我們姑且稱之為第一級Slave叢集,然後其他的Slave再從第一級Slave叢集來進行復制。從第一級Slave進行復制的Slave,我稱之為第二級Slave叢集。如果有需要,我們可以繼續往下增加更多層次的複製。這樣,我們很容易就控制了每一臺MySQL上面所附屬Slave的數量。這種架構我稱之為Master-Slaves-Slaves架構

這種多層級聯複製的架構,很容易就解決了Master端因為附屬Slave太多而成為瓶頸的風險。下圖展示了多層級聯複製的Replication架構。

wKiom1NRQv6RNnTtAAEAh7azRwo469.jpg

當然,如果條件允許,我更傾向於建議大家通過拆分成多個Replication叢集來解決

上述瓶頸問題。畢竟Slave並沒有減少寫的量,所有Slave實際上仍然還是應用了所有的資料變更操作,沒有減少任何寫IO。相反,Slave越多,整個叢集的寫IO總量也就會越多,我們沒有非常明顯的感覺,僅僅只是因為分散到了多臺機器上面,所以不是很容易表現出來。

此外,增加複製的級聯層次,同一個變更傳到最底層的Slave所需要經過的MySQL也會更多,同樣可能造成延時較長的風險。而如果我們通過分拆叢集的方式來解決的話,可能就會要好很多了,當然,分拆叢集也需要更復雜的技術和更復雜的應用系統架構。


4.5、帶從伺服器的Master-Master結構(Master-Master with Slaves)

這種結構的優點就是提供了冗餘。在地理上分佈的複製結構,它不存在單一節點故障問題,而且還可以將讀密集型的請求放到slave上。

wKioL1NRQtPwj73_AACDaBTeaWw819.jpg

級聯複製在一定程度上面確實解決了Master因為所附屬的Slave過多而成為瓶頸的問題,但是他並不能解決人工維護和出現異常需要切換後可能存在重新搭建Replication的問題。這樣就很自然的引申出了DualMaster與級聯複製結合的Replication架構,我稱之為Master-Master-Slaves架構

和Master-Slaves-Slaves架構相比,區別僅僅只是將第一級Slave叢集換成了一臺單獨的Master,作為備用Master,然後再從這個備用的Master進行復制到一個Slave叢集。

這種DualMaster與級聯複製結合的架構,最大的好處就是既可以避免主Master的寫入操作不會受到Slave叢集的複製所帶來的影響,同時主Master需要切換的時候也基本上不會出現重搭Replication的情況。但是,這個架構也有一個弊端,那就是備用的Master有可能成為瓶頸,因為如果後面的Slave叢集比較大的話,備用Master可能會因為過多的SlaveIO執行緒請求而成為瓶頸。當然,該備用Master不提供任何的讀服務的時候,瓶頸出現的可能性並不是特別高,如果出現瓶頸,也可以在備用Master後面再次進行級聯複製,架設多層Slave叢集。當然,級聯複製的級別越多,Slave叢集可能出現的資料延時也會更為明顯,所以考慮使用多層級聯複製之前,也需要評估資料延時對應用系統的影響。


參考文章:

http://www.52youpiao.com/it/post/mysql-slave.html