mycat實現簡單的mysql讀寫分離
什麼是mycat呢？
簡單理解為一個MySQL中介軟體，它支援分流、基於心跳的自動故障切換，支援讀寫分離，支援mysql主從，基於Nio管理執行緒的高併發…
詳見官網：http://www.mycat.io/
為什麼需要mysql叢集？
一個龐大的分散式系統的效能瓶頸中，最脆弱的就是連線，一個是客戶端與後端的連線，另一個是後端與資料庫的連線，說白了就是傳送端請求太多，接收端能夠的接收和處理的請求並不多，在客戶端與後端中可以利用類似nginx的負載均衡解決，而在後端與資料庫中可以利用類似mycat的負載均衡實現mysql叢集，提高mysql的總體效能。
開始我們的旅程，在此之前，需要準備以下：
1 兩臺伺服器(最少),一主（master）一從（slave），這裡用vmware裡面裝的兩個ubuntu server 虛擬機器演示，每臺虛擬機器的網路連線方式都設定為橋接模式，兩臺虛擬機器的ip如下
主：ubuntu server1: 192.168.11.109
從：ubuntu server2: 192.168.11.117- 1
- 2
- 1
- 2
2 虛擬機器分別安裝好mysql 5.7
3 jdk1.7以上，這裡以jdk-7u67-Linux-x64.tar.gz為例
4 mycat，以Mycat-server-1.6-RELEASE-20161012170031-linux
搭建mycat+mysql叢集的步驟
-
1 mysql主從配置
-
1.1 主虛擬機器配置（192.168.11.109）
-
1.2 從虛擬機器配置（192.168.11.117）
-
1.3 測試
-
-
2 配置mycat
-
2.1 安裝jdk
-
2.2 安裝mycat
-
2.3 配置server.xml
-
2.4 配置schema.xml
-
2.5 測試
-
mysql主從配置
注意 ：mysql5.7的配置檔案是 /etc/mysql/mysql.conf.d/mysqld.cnf ！不是/etc/mysql/my.cnf !
-
1主虛擬機器配置（192.168.11.109）
-
1.1 修改/etc/mysql/mysql.conf.d/mysqld.cnf檔案
- 1.1.1 在[mysqld]下新增以下
-
vi /etc/mysql/mysql.conf.d/mysqld.cnf
character_set_server = utf8
init_connect = 'SET NAMES utf8'
log-bin=mysql-bin
server-id=109- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
-
-
1.2 在[mysqld]下注釋掉bind-address = 127.0.0.1
-
1.3 配置master
- 1.3.1 進入mysql，建立一個具有slave複製許可權的使用者wen
GRANT REPLICATION SLAVE ON *.* to 'wen'@'%' identified by 'wen';- 1
- 1
- 1.3.2 重新整理許可權
flush privileges;- 1
- 1
- 1.3.3 顯示master
show master status;- 1
- 1
-
-
2 從虛擬機器配置（192.168.11.117）
-
2.1 修改/etc/mysql/mysql.conf.d/mysqld.cnf檔案
- 2.1.1 在[mysqld]下新增以下
-
vi /etc/mysql/mysql.conf.d/mysqld.cnf
character_set_server = utf8
init_connect = 'SET NAMES utf8'
log-bin=mysql-bin
server-id=117- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
-
-
2.2 在[mysqld]下注釋掉bind-address = 127.0.0.1
-
2.3 配置slave
- 2.3.1 進入mysql,重置slave
這裡的 master_log_file 和 master_log_pos 在主虛擬機器的 mysql 的 master 中，就是上面的圖所示！
stop slave; reset slave; change master to master_host='192.168.11.109',master_user='wen',master_password='wen',master_log_file='mysql-bin.000013',master_log_pos=1609;- 1
- 2
- 3
- 1
- 2
- 3
-
- 2.3.2 啟動slave
start slave;- 1
- 1
-
-
2.2.3 顯示slave
其中的Slave_IO_Running 和 Slave_SQL_Running 一定要 Yes 才表示slave啟動正確！
-
show slave status \G- 1
- 1
-
-
- 2.4 測試
在master虛擬機器中建立一個數據庫，然後再slave虛擬機器中檢視，如果，slave中有剛剛測試的資料庫，說明mysql主從配置成功。
主：
從：
配置mycat（在master虛擬機器中配置）
jdk與mycat的壓縮包都放在/opt目錄下
-
1 安裝jdk
mycat依賴於java1.7以上的環境，先安裝jdk1.7
解壓jdk
tar -zxvf jdk-7u67-linux-x64.tar.gz配置環境變數
vi /etc/profile在末尾新增
# set for java
export JAVA_HOME=/opt/jdk1.7.0_67
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
儲存退出
-
2 安裝 mycat
解壓mycat
tar -zxvf Mycat-server-1.6-RELEASE-20161012170031-linux.tar.gz配置環境變數
vi /etc/profile在末尾新增
export MYCAT_HOME=/opt/mycat export PATH=$PATH:$MYCAT_HOME/bin儲存退出
使環境變數生效
source /etc/profile -
3.配置server.xml
到 mycat 的 conf 目錄下，修改 server.xml 檔案新增 test 和user 使用者，test 使用者，密碼也為 test，user 使用者，密碼也為user
<user name="test">
<property name="password">test</property>
<property name="schemas">TESTDB</property>
<!-- 表級 DML 許可權設定 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
-
4.配置schema.xml
設定讀和寫伺服器的ip與埠，以及叢集策略。這裡的 schema 的 name 要與 server.xml 的 schema 保持一致， database 對應的是 mysql 裡面已經存在的資料庫，也就是說，mycat 的 TESTDB 代理了 主/從虛擬機器的 mysql 的 test 資料庫
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>
<dataNode name="dn1" dataHost="master" database="test" />
<dataHost name="master" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>show slave status</heartbeat>
<writeHost host="host2" url="192.168.11.109:3306" user="root" password="root" />
<writeHost host="host4" url="192.168.11.117:3306" user="root" password="root" />
</dataHost>- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
show slave status 表示一種叢集策略，只適用在一主一從的環境中，當主 down 掉， 從可以充當主和從
balance屬性
balance=”0”, 不開啟讀寫分離機制，所有讀操作都發送到當前可用的 writeHost 上
balance=”1”，全部的 readHost 與 stand by writeHost 參與 select 語句的負載均衡
balance=”2”，所有讀操作都隨機的在 writeHost、 readhost 上分發。
balance=”3”， 所有讀請求隨機的分發到 wiriterHost 對應的 readhost 執行,writerHost 不負擔讀壓力
writeType 屬性
負載均衡型別，目前的取值有 3 種：
writeType=”0”, 所有寫操作傳送到配置的第一個 writeHost，第一個掛了切到還生存的第二個writeHost， 重新啟動後已切換後的為準，切換記錄在配置檔案中:dnindex.properties
writeType=”1”，所有寫操作都隨機的傳送到配置的 writeHost
- 5 啟動mycat
cd /opt/mycat/bin
./mycat start- 1
- 2
- 1
- 2
補充：mycat的常用命令
關閉
mycat stop
重啟
mycat restart
檢視mycat狀態
mycat status
- 6 測試
現在 mycat 可以代理 mysql 了，用 navicat 連線 mycat（8066埠）
往資料庫裡面新增一條資料 wen
現在到主虛擬機器用命令列檢視資料庫，看看剛在 navicat 寫進 mycat 的資料有沒有顯示出來
用 mycat 的賬號密碼登入到主虛擬機器的 mycat，檢視並新增一條資料 tom
mysql -utest -ptest -h127.0.0.1 -P8066- 1
- 1
再切到從虛擬機器，用 mysql -uroot -p 登入 mysql，看看剛剛在主虛擬機器的 mycat 新增的資料 tom 在從虛擬機器能不能看到
如果想看看讀寫分離的細節，可以到 logs 目錄下檢視日誌
/opt/mycat/logs/
tail -f mycat.log- 1
- 2
- 1
- 2
———————————————————分割線—————————————————————-
mysql的問題其實是由於一系列的軟肋決定的，所以不得不利用中介軟體或者其它方案去解決，包括：
-
在強制約束和事務與全文索引之間做出選擇(InnoDb vs MyISAM)
-
在客戶機程式碼中“模擬”事務是不容易的
-
如果不執行約束，就很容易得到不一致的db狀態
-
如果沒有全文搜尋，會變得瘋狂，比如% y %
-
必須在更新觸發器之前建立檢查約束的錯誤
-
當資料變得太大時，Mysql的承受能力就不妙了
-
Mysql建立的執行計劃效率低下
-
Mysql有超過多個連線的問題(最好說多個連線)