一、叢集方案

1、Replication

  • 速度快，但僅能保證弱一致性，適用於儲存價值不高的資料，比如日誌、帖子、新聞等。
  • 採用master-slave結構，在master寫入會同步到slave，能從slave讀出；但在slave寫入無法同步到master。
  • 採用非同步複製，master寫入成功就向客戶端返回成功，但是同步slave可能失敗，會造成無法從slave讀出的結果
  • 需要該方案的請檢視我的另一篇文章：https://www.cnblogs.com/lvlinguang/p/15205389.html

2、PXC (Percona XtraDB Cluster)

  • 速度慢，但能保證強一致性，適用於儲存價值較高的資料，比如訂單、客戶、支付等。
  • 資料同步是雙向的，在任一節點寫入資料，都會同步到其他所有節點，在任何節點上都能同時讀寫。
  • 採用同步複製，向任一節點寫入資料，只有所有節點都同步成功後，才會向客戶端返回成功。事務在所有節點要麼同時提交，要麼不提交。

二、安裝PXC叢集

1、安裝映象

docker pull percona/percona-xtradb-cluster:5.7.33

2、重新命名映象（縮短映象名稱）

docker tag percona/percona-xtradb-cluster:5.7.33 pxc

# 移除原映象

docker rmi percona/percona-xtradb-cluster:5.7.33

3、建立net1網段

  • 出於安全考慮，給PXC叢集建立Docker內部網路
# 建立網段

docker network create --subnet=172.18.0.0/24 net1

# 檢視網段

# docker network inspect net1

# 刪除網段

# docker network rm net1

4、建立五個資料卷（pxc無法直接存取宿組機的資料，所以建立五個docker資料卷）

docker volume create v1

docker volume create v2

docker volume create v3

docker volume create v4

docker volume create v5

# 檢視資料卷位置

#docker inspect v1

# 刪除資料卷

#docker volume rm v1

5、建立5節點的PXC叢集

  • 第一個節點建立完成之後，需要等1分鐘左右才能建立後面的節點。可以通過navicat連線第一個節點測試下，可以連線就說明可以了
#建立第1個MySQL節點

docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -v v1:/var/lib/mysql --net=net1 --ip 172.18.0.2 pxc

#建立第2個MySQL節點

docker run -d --name=mysql-node2 -p 3311:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v2:/var/lib/mysql --net=net1 --ip 172.18.0.3 pxc

#建立第3個MySQL節點

docker run -d --name=mysql-node3 -p 3312:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v3:/var/lib/mysql --net=net1 --ip 172.18.0.4 pxc

#建立第4個MySQL節點

docker run -d --name=mysql-node4 -p 3313:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v4:/var/lib/mysql --net=net1 --ip 172.18.0.5 pxc

#建立第5個MySQL節點

docker run -d --name=mysql-node5 -p 3314:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node1 -v v5:/var/lib/mysql --net=net1 --ip 172.18.0.6 pxc

6、測試叢集

  • 通過navicat連線任意一個數據庫，進行增、刪、改操作操作，觀察其它庫是否進行同步操作

三、Haproxy負載均衡

  • 雖然搭建了叢集,但是不使用資料庫負載均衡,單節點處理所有請求，負載高，效能差，如下圖

  • 使用Haproxy做負載均衡，可以將請求均勻地傳送給每個節點，單節點負載低，效能好，如下圖

1、安裝haproxy映象

docker pull haproxy:2.3.13

2、新建目錄

mkdir -p /home/apps/haproxy

3、新建Haproxy配置檔案

vim /home/apps/haproxy/haproxy.cfg

# 增加以下內容

global

    #工作目錄

    chroot /usr/local/etc/haproxy

    #日誌檔案，使用rsyslog服務中local5日誌裝置（/var/log/local5），等級info

    log 127.0.0.1 local5 info

    #守護程序執行

    daemon

defaults

    log global

    mode    http

    #日誌格式

    option  httplog

    #日誌中不記錄負載均衡的心跳檢測記錄

    option  dontlognull

    #連線超時（毫秒）

    timeout connect 5000

    #客戶端超時（毫秒）

    timeout client  50000

    #伺服器超時（毫秒）

    timeout server  50000

#監控介面

listen  admin_stats

    #監控介面的訪問的IP和埠

    bind  0.0.0.0:8888

    #訪問協議

    mode        http

    #URI相對地址

    stats uri   /dbs

    #統計報告格式

    stats realm     Global\ statistics

    #登入帳戶資訊

    stats auth  admin:123456

#資料庫負載均衡

listen  proxy-mysql

    #訪問的IP和埠

    bind  0.0.0.0:3306

    #網路協議

    mode  tcp

    #負載均衡演算法（輪詢演算法）

    #輪詢演算法：roundrobin

    #權重演算法：static-rr

    #最少連線演算法：leastconn

    #請求源IP演算法：source

    balance  roundrobin

    #日誌格式

    option  tcplog

    #在MySQL中建立一個沒有許可權的haproxy使用者，密碼為空。Haproxy使用這個賬戶對MySQL資料庫心跳檢測

    option  mysql-check user haproxy

    server  mysql-node1 172.18.0.2:3306 check weight 1 maxconn 2000

    server  mysql-node2 172.18.0.3:3306 check weight 1 maxconn 2000

    server  mysql-node3 172.18.0.4:3306 check weight 1 maxconn 2000

    server  mysql-node4 172.18.0.5:3306 check weight 1 maxconn 2000

    server  mysql-node5 172.18.0.6:3306 check weight 1 maxconn 2000

    #使用keepalive檢測死鏈

    option  tcpka

3、在資料庫叢集中建立空密碼、無許可權使用者haproxy，來供Haproxy對MySQL資料庫進行心跳檢測

# 進入容器

docker exec -it mysql-node1 /bin/bash

# 登入mysql

mysql -uroot -p123456

# 建立使用者

create user 'haproxy'@'%' identified by '';

4、建立第1個Haproxy負載均衡伺服器

docker run -it -d --name haproxy-node1 -p 4001:8888 -p 4002:3306 --restart always --privileged=true -v /home/apps/haproxy:/usr/local/etc/haproxy --net=net1 --ip 172.18.0.7 haproxy:2.3.13

5、啟動Haproxy

# 進入容器

docker exec -it haproxy-node1 /bin/bash

# 啟動haproxy

haproxy -f /usr/local/etc/haproxy/haproxy.cfg

四、訪問測試

1、頁面訪問

  • ip:4001/dbs，在配置檔案中定義有使用者名稱admin，密碼123456

2、資料庫訪問

  • 使用navacat訪問代理叢集，埠為4002

3、測試docker掛掉

  • 分別下線第一和第二個節點，通過訪問其它節點或代理節點都能正常使用

五、節點宕機或重啟

1、從節點宕機後的操作

  • 如果指定的主節點沒有宕機，直接啟動從節點容器，資料會自動同步

2、主節點宕機後的操作

  • 【重啟用此操作】如果主節點是最後一個離開叢集的（說明資料是最新的），只要重啟主節點即可，主節點的啟動需要設定safe_to_bootstrap: 1 才能啟動
# 修改grastate.dat

vim /var/lib/docker/volumes/v1/_data/grastate.dat

# 將以下值改為1

safe_to_bootstrap: 1

# 啟動主節點

docker start mysql-node1
  • 如果其他節點還在執行中，主節點掛掉了（說明主節點的資料已經不是最新的了），需要刪除主節點容器，原來的資料卷無需刪除（繼續使用，避免資料丟失），然後再以從節點方式加入叢集，注意加引數 "-e CLUSTER_JOIN=mysql-node2"，指定可用的從節點啟動
docker run -d --name=mysql-node1 -p 3310:3306 --privileged=true -e MYSQL_ROOT_PASSWORD=123456 -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=abc123456 -e CLUSTER_JOIN=mysql-node2 -v v1:/var/lib/mysql --net=net1 --ip 172.18.0.2 pxc

3、另一種啟動方式，刪除叢集容器和資料卷中的grastate.dat檔案，重新建立

  • 該方案會以主節點的資料恢復，如果主節點資料不是最新的，會造成資料丟失
# 移除容器

docker rm mysql-node1 mysql-node2 mysql-node3 mysql-node4 mysql-node5

# 移除資料卷中的grastate.dat檔案

rm -rf /var/lib/docker/volumes/v1/_data/grastate.dat

rm -rf /var/lib/docker/volumes/v2/_data/grastate.dat

rm -rf /var/lib/docker/volumes/v3/_data/grastate.dat

rm -rf /var/lib/docker/volumes/v4/_data/grastate.dat

rm -rf /var/lib/docker/volumes/v5/_data/grastate.dat

# 按上面的方式重新建立叢集容器

六、參考