MySQL 高可用:mysql+mycat實現資料庫分片(分庫分表)
什麼是MYCAT:
一個徹底開源的,面向企業應用開發的大資料庫叢集
支援事務、ACID、可以替代MySQL的加強版資料庫
一個可以視為MySQL叢集的企業級資料庫,用來替代昂貴的Oracle叢集
一個融合記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Server
結合傳統資料庫和新型分散式資料倉庫的新一代企業級資料庫產品
一個新穎的資料庫中介軟體產品
Mycat關鍵特性 : 支援SQL92標準
遵守Mysql原生協議,跨語言,跨平臺,跨資料庫的通用中介軟體代理。
基於心跳的自動故障切換,支援讀寫分離,支援MySQL主從,以及galera cluster叢集。
支援Galera for MySQL叢集,Percona Cluster或者MariaDB cluster
基於Nio實現,有效管理執行緒,高併發問題。
支援資料的多片自動路由與聚合,支援sum,count,max等常用的聚合函式,支援跨庫分頁。
支援單庫內部任意join,支援跨庫2表join,甚至基於caltlet的多表join。
支援通過全域性表,ER關係的分片策略,實現了高效的多表join查詢。
支援多租戶方案。
支援分散式事務(弱xa)。
支援全域性序列號,解決分散式下的主鍵生成問題。
分片規則豐富,外掛化開發,易於擴充套件。
強大的web,命令列監控。
支援前端作為mysq通用代理,後端JDBC方式支援Oracle、DB2、SQL Server 、 mongodb 、巨杉。
支援密碼加密
支援服務降級
支援IP白名單
支援SQL黑名單、sql注入攻擊攔截
支援分表(1.6)
叢集基於ZooKeeper管理,線上升級,擴容,智慧優化,大資料處理(2.0開發版)。
JDK 下載(建議要求jdk7及以上):
Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gzMyCAT 相關:
既然 mycat 那麼強大,那就測試看看:
#測試環境:
# 有3張表 users,item,item_detail (item 的子表) 和 3 個數據庫 db01,db02,db03
# 表 users 儲存在資料庫 db01, 表 item 和 item_detail 分佈儲存在資料 db01 和 db02
# 現在在3個數據庫都建立相同的表
-
create database db01;
-
create database db02;
-
create database db03;
-
CREATE TABLE users (
-
id INT NOT NULL AUTO_INCREMENT,
-
name varchar(50) NOT NULL default '',
-
indate DATETIME NOT NULL default '0000-00-00 00:00:00',
-
PRIMARY KEY (id)
-
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
-
CREATE TABLE item (
-
id INT NOT NULL AUTO_INCREMENT,
-
value INT NOT NULL default 0,
-
indate DATETIME NOT NULL default '0000-00-00 00:00:00',
-
PRIMARY KEY (id)
-
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
-
CREATE TABLE item_detail (
-
id INT NOT NULL AUTO_INCREMENT,
-
value INT NOT NULL default 0,
-
name varchar(50) NOT NULL default '',
-
item_id INT NOT NULL,
-
PRIMARY KEY (id),
-
key (item_id)
-
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
# JDK 安裝配置
-
cd /usr/local/src
-
tar xvf jdk-7u80-linux-i586.tar.gz
-
mkdir -p /usr/local/java
-
mv /usr/local/src/jdk1.7.0_80 /usr/local/java/
-
chown -R root:root /usr/local/java
-
cd /usr/local/java/
#配置環境變數
-
vi /etc/profile
-
vi ~/.bash_profile
-
export JAVA_HOME=/usr/local/java/jdk1.7.0_80
-
export PATH=$PATH:$JAVA_HOME/bin
-
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#設定生效
-
source /etc/profile
-
source ~/.bash_profile
#測試是否安裝成功
-
[[email protected] ~]# java -version
-
java version "1.7.0_80"
-
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
-
Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)
# Mycat 安裝配置
-
cd /usr/local/src
-
tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz
-
mv /usr/local/src/mycat /usr/local/
-
groupadd mycat
-
useradd -g mycat mycat
-
passwd mycat
-
chown -R mycat.mycat /usr/local/mycat
#新增環境變數
-
vi /etc/profile
-
vi ~/.bash_profile
-
export MYCAT_HOME=/usr/local/mycat
#設定生效(最好重啟系統)
-
source /etc/profile
-
source ~/.bash_profile
#伺服器名和IP繫結
vi /etc/hosts
192.168.100.50 server1
127.0.0.1 server1
# 設定 wrapper.java.command 的java 路徑
-
vi /usr/local/mycat/conf/wrapper.conf
-
wrapper.java.command=%JAVA_HOME%/bin/java
#配置 server.xml 和 schema.xml (本案例配置資訊在文章底部)
-
vi /usr/local/mycat/conf/server.xml
-
vi /usr/local/mycat/conf/schema.xml
#啟動mycat服務 ./mycat { console | start | stop | restart | status | dump }
/usr/local/mycat/bin/mycat console
-
#mycat 程序
-
ps -ef | grep mycat
-
#日子資訊
-
tail -20 /usr/local/mycat/logs/wrapper.log
-
自啟動
-
#vim /etc/rc.local
-
sh /usr/local/bin/mycat start
測試:
#訪問 mycat (憑據參考 /usr/local/mycat/conf/server.xml)
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
-
mysql> show databases;
-
+----------+
-
| DATABASE |
-
+----------+
-
| TESTDB |
-
+----------+
-
mysql> show tables;
-
+------------------+
-
| Tables in TESTDB |
-
+------------------+
-
| item |
-
| item_detail |
-
| users |
-
+------------------+
#在 mycat 中插入資料並查詢:
-
insert into users(name,indate) values('kk',now());
-
insert into item(id,value,indate) values(1,100,now());
-
insert into item_detail(value,name,item_id) values('pad',40,1);
-
insert into item_detail(value,name,item_id) values('phone',50,1);
-
insert into item(id,value,indate) values(999,100,now());
-
insert into item_detail(value,name,item_id) values('pad',40,999);
-
insert into item_detail(value,name,item_id) values('phone',50,999);
-
mysql> select * from users;
-
+----+------+---------------------+
-
| id | name | indate |
-
+----+------+---------------------+
-
| 1 | kk | 2016-04-13 06:28:00 |
-
+----+------+---------------------+
-
mysql> select * from item;
-
+-----+-------+---------------------+
-
| id | value | indate |
-
+-----+-------+---------------------+
-
| 999 | 100 | 2016-04-13 06:34:12 |
-
| 1 | 100 | 2016-04-13 06:32:58 |
-
+-----+-------+---------------------+
-
mysql> select * from item_detail;
-
+----+-------+------+---------+
-
| id | value | name | item_id |
-
+----+-------+------+---------+
-
| 1 | 0 | 40 | 999 |
-
| 2 | 0 | 50 | 999 |
-
| 1 | 0 | 40 | 1 |
-
| 2 | 0 | 50 | 1 |
-
+----+-------+------+---------+
#開啟另一個終端,使用mysql賬號登陸訪問查看錶情況
mysql -uroot -ptest -p
#具體的表資料儲存情況:
-
-----------------------------------------
-
mysql> select * from db01.users;
-
+----+------+---------------------+
-
| id | name | indate |
-
+----+------+---------------------+
-
| 1 | kk | 2016-04-13 06:28:00 |
-
+----+------+---------------------+
-
mysql> select * from db02.users;
-
mysql> select * from db03.users;
-
-----------------------------------------
-
mysql> select * from db01.item;
-
mysql> select * from db02.item;
-
+-----+-------+---------------------+
-
| id | value | indate |
-
+-----+-------+---------------------+
-
| 999 | 100 | 2016-04-13 06:34:12 |
-
+-----+-------+---------------------+
-
mysql> select * from db03.item;
-
+----+-------+---------------------+
-
| id | value | indate |
-
+----+-------+---------------------+
-
| 1 | 100 | 2016-04-13 06:32:58 |
-
+----+-------+---------------------+
-
-----------------------------------------
-
mysql> select * from db01.item_detail;
-
mysql> select * from db02.item_detail;
-
+----+-------+------+---------+
-
| id | value | name | item_id |
-
+----+-------+------+---------+
-
| 1 | 0 | 40 | 999 |
-
| 2 | 0 | 50 | 999 |
-
+----+-------+------+---------+
-
mysql> select * from db03.item_detail;
-
+----+-------+------+---------+
-
| id | value | name | item_id |
-
+----+-------+------+---------+
-
| 1 | 0 | 40 | 1 |
-
| 2 | 0 | 50 | 1 |
-
+----+-------+------+---------+
-
自啟動
-
#vim /etc/rc.local
-
sh /usr/local/bin/mycat start
測試完成!!~資料進行了分庫分表! ------------------------------------------------------------------------------------
------------------------------------------------------------------------------------
# server.xml 和 schema.xml 配置情況
-
# vi /usr/local/mycat/conf/server.xml
-
<?xml version="1.0" encoding="UTF-8"?>
-
<!DOCTYPE mycat:server SYSTEM "server.dtd">
-
<mycat:server xmlns:mycat="http://org.opencloudb/">
-
<system>
-
<!--
-
<property name="processors">32</property>
-
<property name="processorExecutor">32</property>
-
<property name="bindIp">0.0.0.0</property>
-
<property name="frontWriteQueueSize">4096</property>
-
<property name="idleTimeout">300000</property>
-
<property name="mutiNodePatchSize">100</property>
-
-->
-
<property name="defaultSqlParser">druidparser</property>
-
<property name="mutiNodeLimitType">1</property>
-
<property name="serverPort">8066</property>
-
<property name="managerPort">9066</property>
-
</system>
-
<!-- 任意設定登陸 mycat 的使用者名稱,密碼,資料庫 -->
-
<user name="test">
-
<property name="password">test</property>
-
<property name="schemas">TESTDB</property>
-
</user>
-
<user name="user">
-
<property name="password">user</property>
-
<property name="schemas">TESTDB</property>
-
<property name="readOnly">true</property>
-
</user>
-
<!--
-
<quarantine>
-
<whitehost>
-
<host host="127.0.0.1" user="mycat"/>
-
<host host="127.0.0.2" user="mycat"/>
-
</whitehost>
-
<blacklist check="false"></blacklist>
-
</quarantine>
-
-->
-
</mycat:server>
-
# vi /usr/local/mycat/conf/schema.xml
-
<?xml version="1.0"?>
-
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
-
<mycat:schema xmlns:mycat="http://org.opencloudb/">
-
<!-- 設定表的儲存方式.schema name="TESTDB" 與 server.xml中的 TESTDB 設定一致 -->
-
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
-
<table name="users" primaryKey="id" type="global" dataNode="node_db01" />
-
<table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">
-
<childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />
-
</table>
-
</schema>
-
<!-- 設定dataNode 對應的資料庫,及 mycat 連線的地址dataHost -->
-
<dataNode name="node_db01" dataHost="dataHost01" database="db01" />
-
<dataNode name="node_db02" dataHost="dataHost01" database="db02" />
-
<dataNode name="node_db03" dataHost="dataHost01" database="db03" />
-
<!-- mycat 邏輯主機dataHost對應的物理主機.其中也設定對應的mysql登陸資訊 -->
-
<dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
-
<heartbeat>select user()</heartbeat>
-
<writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>
-
</dataHost>
-
</mycat:schema>
其他參考: