配置mysql主從同步讀寫分離，amoeba做中間代理服務
前言
最近自己利用課餘時間研究了MySQL的的主從同步，讀寫分離的配置過程，期間遇到了很多的問題，在這篇博文中我把自己的配置過程遇到的問題和配置流程總結一下。
環境
我的伺服器叢集使用自己電腦上的虛擬機器虛擬機器模擬的，虛擬機器裝的是centos的系統
系統：三臺裝的CentOS的伺服器，兩臺MySQL的伺服器，一臺amoeba代理伺服器
MySQL的版本：5.7（這裡建議不用最新版本的8.0，因為mysql8.0有很多新特性跟5.7的配置過程差異很大）
叢集架構圖
安裝MySQL
配置mysql之前一定要先安裝mysql，mysql的安裝過程這個不進行敘述，請參考我的另一篇博文：
配置
配置前要保證兩個的MySQL伺服器的MySQL的版本一致。
配置前先啟動mysql的服務：
shell > service mysqld start修改主伺服器master的my.cnf中
執行如下命令：
shell > vim /etc/my.cnf在檔案的最後加上以下內容：
[mysqld] #[必須]啟用二進位制日誌 log-bin=mysql-bin #[必須]伺服器唯一ID，預設是1，一般取IP最後一段 server-id=1
配置從伺服器slave的my.cnf中
同樣執行如下命令：
shell > vim /etc/my.cnf在檔案的最後加上如下內容：
[mysqld]
#[必須]啟用二進位制日誌
log-bin=mysql-bin
#[必須]伺服器唯一ID，預設是1，一般取IP最後一段
server-id=2
兩臺都配置完成後重啟兩臺伺服器的MySQL的：
shell > service mysqld restart在主伺服器master上建立賬戶並授權slave
一個先登入MySQL的：
shell > mysql -uroot -p然後執行如下程式碼：
mysql>GRANT REPLICATION SLAVE ON *.* to 'myslave'@'192.168.112.149' identified by '123456'; 這段命令中的myslave為建立的帳戶名，123456為賬戶myslave登入密碼，其中@後面的為從伺服器（slave）的IP地址。
一般不用root帳號，@後面用 “％” 表示所有客戶端都可能連，只要帳號，密碼正確，此處可用具體客戶端IP代替，如192.168.145.226，加強安全。
登入主伺服器的MySQL，查詢master的狀態
執行如下命令：
mysql>show master status;顯示如下：
注：執行完此步驟後不要再操作主伺服器MYSQL，防止主伺服器狀態值變化
配置從伺服器slave
//注意不要斷開，454數字前後無單引號。
mysql>change master to master_host='192.168.112.148',master_user='myslave',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=454;MASTER_HOST：主伺服器（master）的IP地址。
MASTER_USER：剛剛在master上授權的賬戶名。
MASTER_PASSWORD：賬戶授權的密碼。
master_log_file：剛剛show master status;命令下的File屬性內容。
master_log_pos：是master status下的position
然後啟動從伺服器複製功能
Mysql>start slave;檢查從伺服器複製功能狀態
mysql> show slave status\G結果如下：
如果其中的Slave_Io_Running為connecting可以參考如下方法：
關閉主伺服器和從伺服器的防火牆：
shell > service iptables stop或者配置防火牆不攔截的MySQL的3306埠（如果你是在真正的伺服器上配置使用的話建議這個方法）。
我這裡使用的是直接關閉兩個防火牆。
到這裡咱們的MySQL的的master和slave伺服器的主從同步已經實現了。
測試master和slave的主從同步
主伺服器的Mysql，建立資料庫，並在這個庫中建表插入一條資料：
mysql> create database test_master;
mysql> use test_master;
mysql> create table test_master(id int(3),name char(10));
mysql> insert into test_master values(001,'test');執行結束後進入從伺服器資料庫，檢視剛剛主中新增的資料：
mysql > show databases;
mysql > use test_master;
mysql > show tables;
mysql > select * from test_master;結果如下：
主從同步已經實現。
配置amoeba
配置amoeba前需要先安裝的Java的安裝環境
amoeba框架是居於JDK1.5開發的，採用了JDK1.5的特性，所以還需要安裝Java的環境，建議使用javaSE1.5以上的JDK版本。
安裝的Java環境
先去官網下載：HTTP：//www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
安裝
[[email protected] src]# rpm -ivh jdk-8u111-linux-x64.rpm
Preparing... ########################################### [100%]
1:jdk1.8.0_111 ########################################### [100%]
Unpacking JAR files...
tools.jar...
plugin.jar...
javaws.jar...
deploy.jar...
rt.jar...
jsse.jar...
charsets.jar...
localedata.jar...然後設定Java的環境變數
[[email protected] src]# vim /etc/profile
#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_111
JRE_HOME=/usr/java/jdk1.8.0_111/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
[[email protected] amoeba]# source /etc/profile測試是否安裝成功
[[email protected] src]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)安裝amoeba
下載：
wget http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz安裝amoeba
amoeba安裝非常簡單，直接解壓即可使用，這裡將amoeba解壓到的/ usr /local/amoeba目錄下，這樣就安裝完成了。
mkdir /usr/local/amoeba
mv amoeba-mysql-binary-2.1.0-RC5.tar.gz/usr/local/amoeba
tar xvf amoeba-mysql-binary-2.1.0-RC5.tar.gz配置amoeba
amoeba的配置檔案在本環境下位於在/ usr /local/amoeba/ conf目錄下。配置檔案比較多，但是僅僅使用讀寫分離功能，只需配置兩個檔案即可，分別是dbServers.xml和amoeba. XML，如果需要配置IP訪問控制，還需要修改access_list.conf檔案，下面首先介紹dbServers.xml
注意紅色部分內容
[root @ bogon amoeba] #vim conf / dbServers.xml
<？xml version =“1.0”encoding =“gbk”？><!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"><！ -
需要將每個dbServer配置到池中，
如果需要配置多個帶有負載平衡的dbServer，可以通過以下配置進行簡化：
在dbServer中新增名為virtual =“true”的屬性，但配置不允許名為factoryConfig的元素，
例如'multiPool'dbServer
- >
<dbServer name =“abstractServer”abstractive =“true”>
<factoryConfig class =“com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name = “connectionManager”> $ {defaultManager} </ property>
<property name =“sendBufferSize“> 64 </property>
<property name =“receiveBufferSize”> 128 </ property>
<！ - mysql port - >
<property name =“port”> 3306 </ property>＃設定Amoeba要連線的mysql資料庫的埠，預設是3306
< ！ - mysql schema - >
<property name =“schema”> testdb </ property>＃設定預設的資料庫，當連線amoeba時，操作表必須顯式的指定資料庫名，即採用dbname.tablename的方式，不支援使用dbname指定預設庫，因為操作會排程到各個後端dbserver
<！ - mysql user - >
<property name =“user”> test1 </ property>＃設定amoeba連線後端資料庫伺服器的賬號和密碼，因此需要在所有後端資料庫上建立該使用者，並授權amoeba伺服器可連線
<property name =“password”> 111111 </ property>
</ factoryConfig><poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> #最大連線數，預設500
<property name="maxIdle">500</property> #最大空閒連線數
<property name="minIdle">10</property> #最新空閒連線數
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer><dbServer name =“ writedb ”parent =“abstractServer”>＃設定一個後端可寫的dbServer，這裡定義為writedb，這個名字可以任意命名，後面還會用到
<factoryConfig>
<！ - mysql ip - >
<property name =“ipAddress”> 192.168.112.148 </ property>＃設定後端可寫dbserver，即master
</ factoryConfig>
</ dbServer>
<dbServer name =“ slave ”parent =“abstractServer”>＃設定後端可讀dbserver，即slave
<factoryConfig>
<！ - mysql ip - >
<property name =“ipAddress”> 192.168.112.149 </ property>
</ factoryConfig>
</ dbServer>
<dbServer name =“ myslave“virtual =”true“>＃設定定義一個虛擬的dbserver，實際上相當於一個dbserver組，這裡將可讀的資料庫ip統一放到一個組中，將這個組的名字命名為myslave
<poolConfig class =” com.meidusa.amoeba.server.MultipleServerPool“>
<！ - 負載均衡策略：1 = ROUNDROBIN，2 = WEIGHTBASED，3 = HA - >
<property name =”loadbalance“> 1 </ property>＃選擇排程演算法，1表示複製均衡，2表示權重，3表示HA，這裡選擇1
<！ - 用逗號分隔，例如：server1，server2，server1 - >
<property name =“poolNames”> slave </ property>＃ myslave組成員
</ poolConfig>
</ dbServer>
</ amoeba：dbServers>
另一個配置檔案amoeba.xml
注意紅色部分內容
[root @ bogon amoeba] #vim conf / amoeba.xml
<？xml version =“1.0”encoding =“gbk”？><！DOCTYPE amoeba：configuration SYSTEM“amoeba.dtd”>
<amoeba：configuration xmlns：amoeba =“http://amoeba.meidusa.com/”><proxy>
<！ - service class必須實現com.meidusa.amoeba.service.Service - >
<service name =“Amoeba for Mysql”class =“com.meidusa.amoeba.mysql.server.MySQLService”>
<！ - port - >
<property name =“port”> 8066 </ property>＃設定amoeba監聽的埠，預設是8066
<！ - bind ipAddress - >＃下面配置監聽的介面，如果不設定，預設監聽所以的IP，0.0.0.0表示都可訪問
<！ -
<property name =“ipAddress”> 0.0.0.0 </ property>
- >
<property name =“connectionFactory”>
<bean class =“com.meidusa .amoeba.mysql.net。MysqlClientConnectionFactory“>
<property name =“sendBufferSize”> 128 </ property>
<property name =“receiveBufferSize”> 64 </ property>
</ bean>
</ property>
<property name =“authenticateProvider”>
<bean class =“com.meidusa .amoeba.mysql.server.MysqlClientAuthenticator“>
＃提供客戶端連線amoeba時需要使用這裡設定的賬號（這裡的賬號密碼和amoeba連線後端資料庫伺服器的密碼無關）
<property name =“user”> root </ property>
<property name =“password”> 123456 </ property>
<property name =“filter”>
<bean class =“com.meidusa.toolkit.net.authenticate.server.IPAccessController”>
<property name =“ipFile”> $ {amoeba.home} /conf/access_list.conf </ property>
</ bean>
</ property>
</ bean>
</ property>
</ service>
<runtime class =“com.meidusa.amoeba.mysql.context。 MysqlRuntimeContext“>
<！ - 代理伺服器客戶端程序執行緒大小 - >
<property name =“executeThreadSize”> 128 </ property>
<！ - 每個連線快取 預準備語句大小 - >
<property name =“statementCacheSize”> 500 </ property>
<！ - default charset - >
<property name =“serverCharset”> utf8 </ property>
<！ - 查詢超時（預設值：60秒，TimeUnit：秒） - >
<property name =“queryTimeout”> 60 </ property>
</ runtime>
</ proxy>
<！ -
每個ConnectionManager將作為執行緒
管理器負責啟動對於連線IO讀取，死亡檢測
- >
<connectionManagerList>
<connectionManager name =“defaultManager“class =”com.meidusa.toolkit.net.MultiConnectionManagerWrapper“>
<property name =“subManagerClassName”> com.meidusa.toolkit.net.AuthingableConnectionManager </ property>
</ connectionManager>
</ connectionManagerList>
<！ - default using file loader - >
<dbServerLoader class =“com.meidusa.amoeba .context.DBServerConfigFileLoader“>
<property name =”configFile“> $ {amoeba.home} /conf/dbServers.xml </ property>
</ dbServerLoader>
<queryRouter class =”com.meidusa.amoeba.mysql.parser.MysqlQueryRouter “>
<property name =”ruleLoader“>
<bean class =”com.meidusa.amoeba.route.TableRuleFileLoader“>
<property name =“ruleFile”> $ {amoeba.home} /conf/rule.xml </ property>
<property name =“functionFile”> $ {amoeba.home} /conf/ruleFunctionMap.xml </ property>
</ bean>
</ property>
<property name =“sqlFunctionFile”> $ {amoeba.home} / conf / functionMap .xml </ property>
<property name =“LRUMapSize”> 1500 </ property>
<property name =“defaultPool”> writedb </ property>＃設定amoeba預設的池，這裡設定為writedb
<property name =“writePool” > writedb </ property>＃這兩個選項預設是登出掉的，需要取消註釋，這裡用來指定前面定義好的倆個讀寫池
<property name =“readPool”> myslave </ property>＃
<property NAME =”needParse“> true </ property>
</ queryRouter>
</ amoeba：configuration>
以上內容便配置完成了amoeba的配置檔案。
下面開始分別給master和slave伺服器上為amoeba授權
mysql> GRANT ALL ON testdb.* TO 'test1'@'192.168.112.150' IDENTIFIED BY '111111';
Query OK, 0 rows affected (0.05 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)master和slave伺服器都要授權。
這個賬戶密碼要和IP地址要和amoeba配置檔案裡的賬號密碼一樣，IP為amoeba伺服器的IP一致。同時要記住關閉amoeba的防火牆。
shell > service iptables stop啟動amoeba
shell > /usr/local/amoeba/bin/amoeba start到此所有配置已經完成。
測試
遠端登陸的mysql客戶端通過指定amoeba配置檔案中指定的使用者名稱，密碼，和埠以及amoeba伺服器IP地址連結的MySQL資料庫。這裡建議關閉amoeba伺服器的防火牆。
以前你的JDBC連線：
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=utf8
jdbc.username=root
jdbc.password=123456現在你的JDBC連線：
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://192.168.112.150:8066/testdb?useUnicode=true&characterEncoding=utf8
jdbc.username=root #這個需要與amoeba.xml中配置的賬號密碼一致
jdbc.password=123456amoeba其他配置檔案：
Amoeba主配置檔案($AMOEBA_HOME/conf/amoeba.xml)，用來配置Amoeba服務的基本引數，如Amoeba主機地址、埠、認證方式、用於連線的使用者名稱、密碼、執行緒數、超時時間、其他配置檔案的位置等。
資料庫伺服器配置檔案($AMOEBA_HOME/conf/dbServers.xml)，用來儲存和配置Amoeba所代理的資料庫伺服器的資訊，如:主機IP、埠、使用者名稱、密碼等。
切分規則配置檔案($AMOEBA_HOME/conf/rule.xml)，用來配置切分規則。
資料庫函式配置檔案($AMOEBA_HOME/conf/functionMap.xml)，用來配置資料庫函式的處理方法，Amoeba將使用該配置檔案中的方法解析資料庫函式。
切分規則函式配置檔案($AMOEBA_HOME/conf/ruleFunctionMap.xml)，用來配置切分規則中使用的使用者自定義函式的處理方法。
訪問規則配置檔案($AMOEBA_HOME/conf/access_list.conf)，用來授權或禁止某些伺服器IP訪問Amoeba。
日誌規格配置檔案($AMOEBA_HOME/conf/log4j.xml)，用來配置Amoeba輸出日誌的級別和方式。
本文參考文章：