Atlas+mysql主主集群實現讀寫分離
目前線上系統數據庫采用的是主主架構。其中一臺主僅在故障時切換使用，(僅單臺服務器對外提供服務，當一臺出現問題，切換至另一臺），該結構很難支撐較大並發，另外雙主中的另外一臺機在非故障時沒得到有效利用。 結合以上情況，擬采用數據庫中間件提供讀寫分離功能（一主讀寫，一主讀）。既可以提高讀並發能力，又可以充分利用數據庫服務器，後期可繼續增加主主集群的從服務器擴充讀並發性能。如下為具體架構圖：
Atlas官方鏈接： https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
Atlas下載鏈接： https://github.com/Qihoo360/Atlas/releases
Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm
Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm
Ip及軟件信息
IP | 系統 | 軟件版本 | 安裝路徑 | 備註 |
192.168.9.150 | CentOS release 6.8 (Final) | Atlas-2.2.1.el6.x86_64.rpm | /usr/local/mysql-proxy | Atlas普通版 |
192.168.9.175 | CentOS release 6.8 (Final) | mysql-5.7.18-linux-glibc2.5-x86_64.tar.gz | /usr/local/mysql | 主主集群 |
192.168.9.176 | CentOS release 6.8 (Final) | mysql-5.7.18-linux-glibc2.5-x86_64.tar.gz | /usr/local/mysql | 主主集群 |
MYSQL主主集群架設
基本原理：
對於一個mysql服務器， 一般有兩個線程來負責復制和被復制。當開啟復制之後。
1. Slave 上面的IO 線程連接上Master，並請求從指定日誌文件的指定位置（或者從最開始的日誌）之後的日誌內容；
2. Master 接收到來自Slave 的IO 線程的請求後，通過負責復制的IO 線程根據請求信息讀取指定日誌指定位置之後的日誌信息，返回給Slave 端的IO 線程。返回信息中除了日誌所包含的信息之外，還包括本次返回的信息在Master 端的Binary Log文件的名稱以及在Binary Log 中的位置；
3. Slave 的IO 線程接收到信息後，將接收到的日誌內容依次寫入到Slave 端的Relay Log 文件(mysql-relay-bin.xxxxxx)的最末端，並將讀取到的Master 端的binlog的文件名和位置記錄到master-info 文件中，以便在下一次讀取的時候能夠清楚的高速Master“我需要從某個bin-log 的哪個位置開始往後的日誌內容，請發給我”。
4. Slave 的SQL 線程檢測到Relay Log 中新增加了內容後，會馬上解析該Log 文件中的內容成為在Master 端真實執行時候的那些可執行的Query 語句，並在自身執行這些Query。這樣，實際上就是在Master 端和Slave 端執行了同樣的Query，所以兩端的數據是完全一樣的。
如圖：
主主設置，既兩臺服務器互為主從的配置。
略（網上很多相關配置）
ATLAS數據庫中間件安裝
下載並安裝ATLAS數據庫中間件
cd /usr/local/src wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm rpm –ivh Atlas-2.2.1.el6.x86_64.rpm
安裝好了，它會默認在”/usr/local/mysql-proxy”下給你生成4個文件夾，以及需要配置的文件，如下：
[root@localhost mysql-proxy]# ls bin conf lib log
1．bin目錄下放的都是可執行文件
2.“encrypt”是用來生成MySQL密碼加密的，在配置的時候會用到
3.“mysql-proxy”是MySQL自己的讀寫分離代理
4.“mysql-proxyd”是360弄出來的，後面有個“d”，服務的啟動、重啟、停止。都是用他來執行的
編輯配置文件
cd /usr/local/mysql-proxy/conf/ vim test.cnf [mysql-proxy] #帶#號的為非必需的配置項目 #管理接口的用戶名 admin-username = user #管理接口的密碼 admin-password = pwd #Atlas後端連接的MySQL主庫的IP和端口，可設置多項，用逗號分隔。註意設置為主庫僅支持寫功能。若要讀寫要同時將該庫在從庫中進行設置。支持讀功能。 proxy-backend-addresses = 192.168.9.175:3306 #Atlas後端連接的MySQL從庫的IP和端口，@後面的數字代表權重，用來作負載均衡，若省略則默認為1，可設置多項，用逗號分隔 。這裏將主庫的數據庫再次配置到這裏用以支持讀。達到讀負載均衡的目的。 proxy-read-only-backend-addresses = 192.168.9.176:3306@1,192.168.9.175:3306@1 #用戶名與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程序encrypt加密，下行的user1和user2為示例，將其替換為你的MySQL的用戶名和加密密碼！ pwds = root:/iZxz+0GRoA= #設置Atlas的運行方式，設為true時為守護進程方式，設為false時為前臺方式，一般開發調試時設為false，線上運行時設為true,true後面不能有空格。 daemon = true #設置Atlas的運行方式，設為true時Atlas會啟動兩個進程，一個為monitor，一個為worker，monitor在worker意外退出後會自動將其重啟，設為false時只有worker，沒有monitor，一般開發調試時設為false，線上運行時設為true,true後面不能有空格。 keepalive = true #工作線程數，對Atlas的性能有很大影響，可根據情況適當設置 event-threads = 8 #日誌級別，分為message、warning、critical、error、debug五個級別 log-level = message #日誌存放的路徑 log-path = /usr/local/mysql-proxy/log #SQL日誌的開關，可設置為OFF、ON、REALTIME，OFF代表不記錄SQL日誌，ON代表記錄SQL日誌，REALTIME代表記錄SQL日誌且實時寫入磁盤，默認為OFF #sql-log = OFF #慢日誌輸出設置。當設置了該參數時，則日誌只輸出執行時間超過sql-log-slow（單位：ms)的日誌記錄。不設置該參數則輸出全部日誌。 #sql-log-slow = 10 #實例名稱，用於同一臺機器上多個Atlas實例間的區分 #instance = test #Atlas監聽的工作接口IP和端口 proxy-address = 0.0.0.0:1234 #Atlas監聽的管理接口IP和端口 admin-address = 0.0.0.0:2345 #分表設置，此例中person為庫名，mt為表名，id為分表字段，3為子表數量，可設置多項，以逗號分隔，若不分表則不需要設置該項 #tables = person.mt.id.3 #默認字符集，設置該項後客戶端不再需要執行SET NAMES語句 #charset = utf8 #允許連接Atlas的客戶端的IP，可以是精確IP，也可以是IP段，以逗號分隔，若不設置該項則允許所有IP連接，否則只允許列表中的IP連接 #client-ips = 127.0.0.1, 192.168.1 #Atlas前面掛接的LVS的物理網卡的IP(註意不是虛IP)，若有LVS且設置了client-ips則此項必須設置，否則可以不設置 #lvs-ips = 192.168.1.1
編輯添加啟動腳本
vim /etc/init.d/atlas
#!/bin/sh
#
#atlas: Atlas Daemon
#
# chkconfig: - 90 25
# description: Atlas Daemon
#
# Source function library.
start()
{
echo -n $"Starting atlas: "
/usr/local/mysql-proxy/bin/mysql-proxyd test start
echo
}
stop()
{
echo -n $"Shutting down atlas: "
/usr/local/mysql-proxy/bin/mysql-proxyd test stop
echo
}
ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"
[ -f $ATLAS ] || exit 1
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
sleep 3
start
;;
*)
echo $"Usage: $0 {start|stop|restart}"
exit 1
esac
exit 0賦予啟動腳本權限並添加開機啟動
chmod –R 755 /etc/init.d/atlas chkconfig atlas on 啟動atlas service atlas start
端口介紹
默認會開啟兩個端口1234和2345端口。（以上端口可以在配置文件中修改）
Atlas監聽的工作接口IP和端口
proxy-address = 0.0.0.0:1234
Atlas監聽的管理接口IP和端口
admin-address = 0.0.0.0:2345
訪問管理後臺並查看管理命令（註意用戶名密碼為缺省的，為了安全最好修改掉）：
mysql -uuser -ppwd -P2345 -h 127.0.0.1 mysql> select * from help; +----------------------------+---------------------------------------------------------+ | command | description | +----------------------------+---------------------------------------------------------+ | SELECT * FROM help | shows this help | | SELECT * FROM backends | lists the backends and their state | | SET OFFLINE $backend_id | offline backend server, $backend_id is backend_ndx's id | | SET ONLINE $backend_id | online backend server, ... | | ADD MASTER $backend | example: "add master 127.0.0.1:3306", ... | | ADD SLAVE $backend | example: "add slave 127.0.0.1:3306", ... | | REMOVE BACKEND $backend_id | example: "remove backend 1", ... | | SELECT * FROM clients | lists the clients | | ADD CLIENT $client | example: "add client 192.168.1.2", ... | | REMOVE CLIENT $client | example: "remove client 192.168.1.2", ... | | SELECT * FROM pwds | lists the pwds | | ADD PWD $pwd | example: "add pwd user:raw_password", ... | | ADD ENPWD $pwd | example: "add enpwd user:encrypted_password", ... | | REMOVE PWD $pwd | example: "remove pwd user", ... | | SAVE CONFIG | save the backends to config file | | SELECT VERSION | display the version of Atlas | +----------------------------+---------------------------------------------------------+ 16 rows in set (0.00 sec)
訪問工作端口
可使用NAVICAT客戶端進行連接配置
讀負載均衡驗證（經驗證會交替采用後端兩臺數據庫服務器響應請求）
mysql> select @@hostname; +------------+ | @@hostname | +------------+ | db1 | +------------+ 1 row in set mysql> select @@hostname; +------------+ | @@hostname | +------------+ | db2 | +------------+ 1 row in set
讀寫分離驗證
mysql> begin;select @@hostname;commit; Query OK, 0 rows affected +------------+ | @@hostname | +------------+ | db1 | +------------+ 1 row in set Query OK, 0 rows affected mysql> begin;select @@hostname;commit; Query OK, 0 rows affected +------------+ | @@hostname | +------------+ | db1 | +------------+ 1 row in set Query OK, 0 rows affected
壓力測試
讀寫分離壓力測試需要使用到Jmeter了，它是Java寫第一套開源的壓力測試工具，因為這個比較方便。他有專門測試MySQL的模塊，需要使用MySQL的JDBC驅動jar包，配置很簡單，東西很好很強大很好用。
Jmeter下載地址：http://jmeter.apache.org/download_jmeter.cgi
MySQL的JDBC ：http://dev.mysql.com/downloads/connector/j/
下載下來後，分別都解壓開來，打開Jmeter ( 在bin路面下的jmeter.bat ) ，在測試計劃中，導入JDBC的jar包。具體步驟略
Atlas+mysql主主集群實現讀寫分離