Mysql主從複製詳解和實戰
Mysql主從複製詳解和實戰
一、主從複製原理
1.1 基本介紹
MySQL 內建的複製功能是構建大型，高效能應用程式的基礎。將 MySQL 的 數億分佈到到多個系統上去，這種分步的機制，是通過將 MySQL 的某一臺主機的資料複製到其它主機( Slave )上，並重新執行一遍來實現的。複製過程中一個伺服器充當主伺服器，而一個或多個其它伺服器充當從伺服器。主伺服器將更新寫入本地二進位制日誌檔案中，並維護檔案的一個索引以跟蹤日誌迴圈。這些日誌可以記錄傳送到從伺服器的更新。當一個從伺服器連線主伺服器時，它通知主伺服器從伺服器在日誌中讀取的最後一次成功更新的位置，從伺服器接收從那時起發生的任何更新，然後等待主伺服器通知新的更新。
注意：當你配置主從複製後，所有對資料的更新必須在主伺服器上進行。否則，你必須要小心，以避免使用者對主伺服器上的表進行的更新與對從伺服器上的表所進行的更新之間的衝突。
1.2 Mysql支援的複製型別
-
基於語句的複製: 在主伺服器執行SQL語句，在從伺服器執行同樣語句。MySQL預設採用基於語句的複製，效率較高。一旦發現沒法精確複製時, 會自動選基於行的複製。
-
基於行的複製: 把改變的內容複製過去，而不是把命令在從伺服器上執行一遍. 從mysql5.0開始支援
-
混合型別的複製: 預設採用基於語句的複製，一旦發現基於語句的無法精確的複製時，就會採用基於行的複製。
1.3 主從複製的優點
-
在從伺服器可以執行查詢工作(即我們常說的讀功能)，降低主伺服器壓力;（主庫寫，從庫讀，降壓）
-
在從主伺服器進行備份，避免備份期間影響主伺服器服務;（確保資料安全）
-
當主伺服器出現問題時，可以切換到從伺服器。（提升效能）
1.3.1 主從複製解決的問題
-
- 資料分佈 (Data distribution )
-
- 負載平衡(load balancing)
-
- 據備份(Backups) ，保證資料安全
-
- 高可用性和容錯行(High availability and failover)
-
- 實現讀寫分離，緩解資料庫壓力
1.4 主從複製常用實現形式
一主多從複製架構
應用場景：
在主庫讀取請求壓力非常大的場景下，可以通過配置一主多從複製架構實現讀寫分離，把大量對實時性要求不是特別高的讀請求通過負載均衡排程到多個從庫上，降低主庫的讀取壓力。在主庫出現異常宕機的情況下，可以把一個從庫切換為主庫繼續提供服務（主庫授權從庫遠端連線，讀取binlog日誌並更新到本地資料庫的過程；主庫寫資料後，從庫會自動同步過來（從庫跟著主庫變））
注意事項：
-
-
當 Slave 增加到一定數量時，Slave 對 Master 的負載以及網路頻寬都會成為一個嚴重的問題。
-
不同的 Slave 扮演不同的作用(例如使用不同的索引，或者不同的儲存引擎)
-
用一個 Slave 作為備用 Master，只進行復制
-
用一個遠端的 Slave，用於災難恢復。
-
多級複製架構
應用場景：
一主多從的架構能夠解決大部分讀請求壓力特別大的場景需求，但主庫的I/O壓力和網路壓力會隨著從庫的增加而增長，而使用多級複製架構就可以解決一主多從場景下，主庫額外的I/O和網路壓力。 但要注意的是，多級複製場景下主庫的資料是經歷兩次才到達讀取的從庫，期間的延時比一主多從複製場景下只經歷一次複製的要大
注意事項：
-
-
可能存在延時較長的風險
-
這種方案可以與第三方軟體結合使用，例如Slave+LVS+Keepalived 實現高可用。
-
雙主複製架構
應用場景：
雙主/Dual Master架構適用於寫壓力比較大的場景，或者DBA做維護需要主從切換的場景，通過雙主/Dual master架構避免了重複搭建從庫的麻煩；（主從相互授權連線，讀取對方binlog日誌並更新到本地資料庫的過程；只要對方資料改變，自己就跟著改變）
注意事項：
-
-
最大問題就是更新衝突。
-
可以採用MySQL Cluster，以及將Cluster和Replication結合起來，可以建立強大的高效能的資料庫平臺
-
1.5 主從複製工作原理
主庫開啟binlog功能並授權從庫連線主庫，從庫通過change master得到主庫的相關同步資訊,然後連線主庫進行驗證，主庫IO執行緒根據從庫slave執行緒的請求，從master.info開始記錄的位置點向下開始取資訊，同時把取到的位置點和最新的位置與binlog資訊一同發給從庫IO執行緒，從庫將相關的sql語句存放在relay-log裡面，最終從庫的sql執行緒將relay-log裡的sql語句應用到從庫上，至此整個同步過程完成，之後將是無限重複上述過程
需要理解
-
從庫會生成兩個執行緒,一個I/O執行緒,一個SQL執行緒;
-
I/O執行緒會去請求主庫的binlog,並將得到的binlog寫到本地的relay-log(中繼日誌)檔案中;
-
主庫會生成一個log dump執行緒,用來給從庫I/O執行緒傳binlog;
-
SQL執行緒,會讀取relay log檔案中的日誌,並解析成sql語句逐一執行;
注意幾點問題：
-
master將操作語句記錄到binlog日誌中，然後授予slave遠端連線的許可權（master要開啟binlog二進位制日誌功能；通常為了資料安全考慮，slave也開啟binlog）;
-
slave開啟兩個執行緒：IO執行緒和SQL執行緒。其中：IO執行緒負責讀取master的binlog內容到中繼日誌relay log裡；SQL執行緒負責從relay log日誌裡讀出binlog內容，並更新到slave的資料庫裡，這樣就能保證slave資料和master資料保持一致了;
-
mysql複製至少需要兩個Mysql的服務，當然Mysql服務可以分佈在不同的伺服器上，也可以在一臺伺服器上啟動多個服務;
-
mysql複製最好確保master和slave伺服器上的Mysql版本相同（如果不能滿足版本一致，那麼要保證master主節點的版本低於slave從節點的版本）;
-
master和slave兩節點間時間需同步;
大致可以簡單分為以下三步：
-
第一步：master在每個事務更新資料完成之前，將該操作記錄序列地寫入到binlog檔案中。
-
第二步：salve開啟一個I/O Thread，該執行緒在master開啟一個普通連線，主要工作是binlog dump process。如果讀取的進度已經跟上了master，就進入睡眠狀態並等待master產生新的事件。I/O執行緒最終的目的是將這些事件寫入到中繼日誌中。
-
第三步：SQL Thread會讀取中繼日誌，並順序執行該日誌中的SQL事件，從而與主資料庫中的資料保持一致。
細節說明：
-
- Mysql複製過程的第一部分就是master記錄二進位制日誌。在每個事務更新資料完成之前，master在二日誌記錄這些改變。MySQL將事務序列的寫入二進位制日誌，即使事務中的 語句都是交叉執行的。在事件寫入二進位制日誌完成後，master通知儲存引擎提交事務; - 第二部分就是slave將master的binary log拷貝到它自己的中繼日誌。首先，slave開始一個工作執行緒(I/O執行緒)。I/O執行緒在master上開啟一個普通的連線，然後開始binlog dump process。Binlog dump process從master的二進位制日誌中讀取事件，如果已經跟上master，它會睡眠並等待master產生新的事件。I/O執行緒將這些事件寫入中繼日誌;
-
- SQL slave thread（SQL從執行緒）處理該過程的最後一步。SQL執行緒從中繼日誌讀取事件，並重放其中的事件而更新slave的資料，使其與master中的資料一致。只要該執行緒與 I/O執行緒保持一致，中繼日誌通常會位於OS的快取中，所以中繼日誌的開銷很小;
-
- 此外，在master中也有一個工作執行緒：和其它MySQL的連線一樣，slave在master中開啟一個連線也會使得master開始一個執行緒。複製過程有一個很重要的限制, 即複製在slave上是序列化的，也就是說master上的並行更新操作不能在slave上並行操作。
二、mysql主從配置實戰
2.1 配置簡易實現步驟
主伺服器：
- 開啟二進位制日誌 功能
- 配置唯一的server-id
- 獲得master二進位制日誌檔名及位置
- 建立一個用於slave和master通訊的使用者賬號
從伺服器：
- 配置唯一的server-id
- 使用master分配的使用者賬號讀取master二進位制日誌
- 啟用slave服務
2.2 配置注意事項
-
-
每個 Slave 只能有一個 Master；
-
每個 Slave 只能有一個唯一的伺服器ID；
-
每個 Master 可以有很多 Slave;
-
如果你設定了 log_slave_updates，Slave 可以是其他 Slave 的 Master，從而擴散 Master 的更新
-
MySQL 不支援多主伺服器複製—即一個 Slave 可以有多個 Master，但是，通過一些簡單的組合，我們卻可以建立靈活而強大的複製體系結構。
-
- 複製時，主庫有一個I/O執行緒，從庫有兩個執行緒，I/O和SQL執行緒
- 實現主從複製的必要條件是主庫要開啟記錄binlog功能
- binlog檔案只記錄對資料庫有更改的SQL語句（來自主庫內容的變更），不記錄任何查詢（select，show）語句
2.3 主從環境介紹
| 資料庫角色 |
IP |
應用和系統 |
有無資料 |
| Master資料庫 |
192.168.2.221 |
Centos7.3+mariadb5.5.56 |
有 |
| Slave資料庫 |
192.168.2.222 |
Centos7.3+mariadb5.5.56 |
無 |
我這裡mariadb使用yum直接安裝了
主伺服器操作：
①使用yum安裝mariadb-server軟體包，關閉防火牆和selinux
[root@master /]# systemctl stop pfirewalld
[root@master /]# setenforce 0
[root@master /]# yum install -y mariadb-server②修改mariadb配置檔案，開啟二進位制日誌功能，配置一個server-id並啟動mariadb服務
[root@master /]# vim /etc/my.cnf
-----------------------------修改新增以下內容-------------------------
[mysqld]
.....省略
log-bin=bin-log ##開啟二進位制日誌功能
server-id=11 ##設定server-id所有主從伺服器要唯一
innodb-file-per-table=ON
skip-name-resolve=ON
[root@master /]# systemctl restart mariadb③建立slave通訊使用者，建立ceshi資料庫並將mysql庫的資料備份後匯入到ceshi資料庫
[root@master /]# mysql
MariaDB [(none)]> grant replication slave on *.* to 'repl'@'192.168.2.222' identified by 'replication';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> create database ceshi;
Query OK, 1 row affected (0.00 sec)
[root@master /]# mysqldump -uroot -p mysql > /mysql.sql
[root@master /]# cat /mysql.sql | mysql -uroot -p ceshi④登入myslq資料庫，檢視master的binlog日誌檔名和pos-id
[root@master /]# mysql
MariaDB [ceshi]> show master status;
+----------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+----------------+----------+--------------+------------------+
| bin-log.000003 | 514412 | | |
+----------------+----------+--------------+------------------+
1 row in set (0.00 sec)
從伺服器操作：
①使用yum安裝mariadb-server軟體包，關閉防火牆和selinux
[root@slave /]# systemctl stop pfirewalld
[root@slave /]# setenforce 0
[root@slave /]# yum install -y mariadb-server②修改mariadb配置檔案，開啟中繼日誌功能，配置一個server-id並啟動mariadb服務
[root@slave /]# vim /etc/my.cnf
-----------------------------修改新增以下內容-------------------------
[mysqld]
.....省略
relay-log=relay-log ##開啟中繼日誌功能
server-id=22 ##設定slave的serverid
innodb-file-per-table=ON
skip-name-resolve=ON
[root@slave /]# systemctl restart mariadb③建立ceshi資料庫，將ceshi資料庫的全量備份檔案複製到本地並匯入到ceshi資料庫
[root@slave /]# mysql
MariaDB [(none)]> create database ceshi;
Query OK, 1 row affected (0.00 sec)
[root@slave /]# scp 192.168.2.221:/mysql.sql /
[root@slave /]# cat mysql.sql | mysql -uroot -p ceshi④配置master的讀取binlog資訊配置，啟動slave程序並檢視slave狀態
MariaDB [ceshi]> change master to
-> master_host='192.168.2.221',
-> master_user='repl',
-> master_password='replication',
-> master_log_file='bin-log.000003',
-> master_log_pos=514412;
Query OK, 0 rows affected (0.32 sec)
MariaDB [ceshi]> start slave;
Query OK, 0 rows affected (0.01 sec)
MariaDB [ceshi]> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.2.221
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: bin-log.000003
Read_Master_Log_Pos: 514412
Relay_Log_File: relay-log.000002
Relay_Log_Pos: 527
Relay_Master_Log_File: bin-log.000003
Slave_IO_Running: Yes ##此處兩個yes代表slave配置同步成功
Slave_SQL_Running: Yes ##此處兩個yes代表slave配置同步成功
Replicate_Do_DB:
Replicate_Ignore_DB: