1. 程式人生 > >MySQL 高可用:mysql+mycat實現資料庫分片(分庫分表)

MySQL 高可用:mysql+mycat實現資料庫分片(分庫分表)

什麼是MYCAT:

一個徹底開源的,面向企業應用開發的大資料庫叢集

支援事務、ACID、可以替代MySQL的加強版資料庫

一個可以視為MySQL叢集的企業級資料庫,用來替代昂貴的Oracle叢集

一個融合記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Server

結合傳統資料庫和新型分散式資料倉庫的新一代企業級資料庫產品

一個新穎的資料庫中介軟體產品

 Mycat關鍵特性 : 支援SQL92標準

遵守Mysql原生協議,跨語言,跨平臺,跨資料庫的通用中介軟體代理。

基於心跳的自動故障切換,支援讀寫分離,支援MySQL主從,以及galera cluster叢集。

支援Galera for MySQL叢集,Percona Cluster或者MariaDB cluster

基於Nio實現,有效管理執行緒,高併發問題。

支援資料的多片自動路由與聚合,支援sum,count,max等常用的聚合函式,支援跨庫分頁。

支援單庫內部任意join,支援跨庫2表join,甚至基於caltlet的多表join。

支援通過全域性表,ER關係的分片策略,實現了高效的多表join查詢。

支援多租戶方案。

支援分散式事務(弱xa)。

支援全域性序列號,解決分散式下的主鍵生成問題。

分片規則豐富,外掛化開發,易於擴充套件。

強大的web,命令列監控。

支援前端作為mysq通用代理,後端JDBC方式支援Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支援密碼加密

支援服務降級

支援IP白名單

支援SQL黑名單、sql注入攻擊攔截

支援分表(1.6)

叢集基於ZooKeeper管理,線上升級,擴容,智慧優化,大資料處理(2.0開發版)。

JDK 下載(建議要求jdk7及以上):

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gzMyCAT 相關:

既然 mycat  那麼強大,那就測試看看:

#測試環境:

# 有3張表 users,item,item_detail (item 的子表) 和 3 個數據庫 db01,db02,db03

# 表 users 儲存在資料庫 db01, 表 item 和 item_detail 分佈儲存在資料 db01 和 db02 

# 現在在3個數據庫都建立相同的表

  1. create database db01;

  2. create database db02;

  3. create database db03;

  4. CREATE TABLE users (

  5. id INT NOT NULL AUTO_INCREMENT,

  6. name varchar(50) NOT NULL default '',

  7. indate DATETIME NOT NULL default '0000-00-00 00:00:00',

  8. PRIMARY KEY (id)

  9. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

  10. CREATE TABLE item (

  11. id INT NOT NULL AUTO_INCREMENT,

  12. value INT NOT NULL default 0,

  13. indate DATETIME NOT NULL default '0000-00-00 00:00:00',

  14. PRIMARY KEY (id)

  15. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

  16. CREATE TABLE item_detail (

  17. id INT NOT NULL AUTO_INCREMENT,

  18. value INT NOT NULL default 0,

  19. name varchar(50) NOT NULL default '',

  20. item_id INT NOT NULL,

  21. PRIMARY KEY (id),

  22. key (item_id)

  23. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

# JDK 安裝配置

  1. cd /usr/local/src

  2. tar xvf jdk-7u80-linux-i586.tar.gz

  3. mkdir -p /usr/local/java

  4. mv /usr/local/src/jdk1.7.0_80 /usr/local/java/

  5. chown -R root:root /usr/local/java

  6. cd /usr/local/java/

#配置環境變數

  1. vi /etc/profile

  2. vi ~/.bash_profile

  3. export JAVA_HOME=/usr/local/java/jdk1.7.0_80

  4. export PATH=$PATH:$JAVA_HOME/bin

  5. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#設定生效

  1. source /etc/profile

  2. source ~/.bash_profile

#測試是否安裝成功

  1. [[email protected] ~]# java -version

  2. java version "1.7.0_80"

  3. Java(TM) SE Runtime Environment (build 1.7.0_80-b15)

  4. Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)

# Mycat 安裝配置

  1. cd /usr/local/src

  2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz

  3. mv /usr/local/src/mycat /usr/local/

  4. groupadd mycat

  5. useradd -g mycat mycat

  6. passwd mycat

  7. chown -R mycat.mycat /usr/local/mycat

#新增環境變數

  1. vi /etc/profile

  2. vi ~/.bash_profile

  3. export MYCAT_HOME=/usr/local/mycat

#設定生效(最好重啟系統)

  1. source /etc/profile

  2. source ~/.bash_profile

#伺服器名和IP繫結

vi /etc/hosts
192.168.100.50	server1
127.0.0.1       server1

# 設定 wrapper.java.command 的java 路徑

  1. vi /usr/local/mycat/conf/wrapper.conf

  2. wrapper.java.command=%JAVA_HOME%/bin/java

#配置 server.xml 和 schema.xml  (本案例配置資訊在文章底部)

  1. vi /usr/local/mycat/conf/server.xml

  2. vi /usr/local/mycat/conf/schema.xml

#啟動mycat服務 ./mycat { console | start | stop | restart | status | dump }

/usr/local/mycat/bin/mycat console
  1. #mycat 程序

  2. ps -ef | grep mycat

  3. #日子資訊

  4. tail -20 /usr/local/mycat/logs/wrapper.log

  1. 自啟動

  2. #vim /etc/rc.local

  3. sh /usr/local/bin/mycat start

測試:

#訪問 mycat   (憑據參考 /usr/local/mycat/conf/server.xml)

mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
  1. mysql> show databases;

  2. +----------+

  3. | DATABASE |

  4. +----------+

  5. | TESTDB |

  6. +----------+

  7. mysql> show tables;

  8. +------------------+

  9. | Tables in TESTDB |

  10. +------------------+

  11. | item |

  12. | item_detail |

  13. | users |

  14. +------------------+

#在 mycat 中插入資料並查詢:

  1. insert into users(name,indate) values('kk',now());

  2. insert into item(id,value,indate) values(1,100,now());

  3. insert into item_detail(value,name,item_id) values('pad',40,1);

  4. insert into item_detail(value,name,item_id) values('phone',50,1);

  5. insert into item(id,value,indate) values(999,100,now());

  6. insert into item_detail(value,name,item_id) values('pad',40,999);

  7. insert into item_detail(value,name,item_id) values('phone',50,999);

  1. mysql> select * from users;

  2. +----+------+---------------------+

  3. | id | name | indate |

  4. +----+------+---------------------+

  5. | 1 | kk | 2016-04-13 06:28:00 |

  6. +----+------+---------------------+

  7. mysql> select * from item;

  8. +-----+-------+---------------------+

  9. | id | value | indate |

  10. +-----+-------+---------------------+

  11. | 999 | 100 | 2016-04-13 06:34:12 |

  12. | 1 | 100 | 2016-04-13 06:32:58 |

  13. +-----+-------+---------------------+

  14. mysql> select * from item_detail;

  15. +----+-------+------+---------+

  16. | id | value | name | item_id |

  17. +----+-------+------+---------+

  18. | 1 | 0 | 40 | 999 |

  19. | 2 | 0 | 50 | 999 |

  20. | 1 | 0 | 40 | 1 |

  21. | 2 | 0 | 50 | 1 |

  22. +----+-------+------+---------+

#開啟另一個終端,使用mysql賬號登陸訪問查看錶情況

mysql -uroot -ptest -p

#具體的表資料儲存情況:

  1. -----------------------------------------

  2. mysql> select * from db01.users;

  3. +----+------+---------------------+

  4. | id | name | indate |

  5. +----+------+---------------------+

  6. | 1 | kk | 2016-04-13 06:28:00 |

  7. +----+------+---------------------+

  8. mysql> select * from db02.users;

  9. mysql> select * from db03.users;

  10. -----------------------------------------

  11. mysql> select * from db01.item;

  12. mysql> select * from db02.item;

  13. +-----+-------+---------------------+

  14. | id | value | indate |

  15. +-----+-------+---------------------+

  16. | 999 | 100 | 2016-04-13 06:34:12 |

  17. +-----+-------+---------------------+

  18. mysql> select * from db03.item;

  19. +----+-------+---------------------+

  20. | id | value | indate |

  21. +----+-------+---------------------+

  22. | 1 | 100 | 2016-04-13 06:32:58 |

  23. +----+-------+---------------------+

  24. -----------------------------------------

  25. mysql> select * from db01.item_detail;

  26. mysql> select * from db02.item_detail;

  27. +----+-------+------+---------+

  28. | id | value | name | item_id |

  29. +----+-------+------+---------+

  30. | 1 | 0 | 40 | 999 |

  31. | 2 | 0 | 50 | 999 |

  32. +----+-------+------+---------+

  33. mysql> select * from db03.item_detail;

  34. +----+-------+------+---------+

  35. | id | value | name | item_id |

  36. +----+-------+------+---------+

  37. | 1 | 0 | 40 | 1 |

  38. | 2 | 0 | 50 | 1 |

  39. +----+-------+------+---------+

  1. 自啟動

  2. #vim /etc/rc.local

  3. sh /usr/local/bin/mycat start

測試完成!!~資料進行了分庫分表! ------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情況

  1. # vi /usr/local/mycat/conf/server.xml

  2. <?xml version="1.0" encoding="UTF-8"?>

  3. <!DOCTYPE mycat:server SYSTEM "server.dtd">

  4. <mycat:server xmlns:mycat="http://org.opencloudb/">

  5. <system>

  6. <!--

  7. <property name="processors">32</property>

  8. <property name="processorExecutor">32</property>

  9. <property name="bindIp">0.0.0.0</property>

  10. <property name="frontWriteQueueSize">4096</property>

  11. <property name="idleTimeout">300000</property>

  12. <property name="mutiNodePatchSize">100</property>

  13. -->

  14. <property name="defaultSqlParser">druidparser</property>

  15. <property name="mutiNodeLimitType">1</property>

  16. <property name="serverPort">8066</property>

  17. <property name="managerPort">9066</property>

  18. </system>

  19. <!-- 任意設定登陸 mycat 的使用者名稱,密碼,資料庫 -->

  20. <user name="test">

  21. <property name="password">test</property>

  22. <property name="schemas">TESTDB</property>

  23. </user>

  24. <user name="user">

  25. <property name="password">user</property>

  26. <property name="schemas">TESTDB</property>

  27. <property name="readOnly">true</property>

  28. </user>

  29. <!--

  30. <quarantine>

  31. <whitehost>

  32. <host host="127.0.0.1" user="mycat"/>

  33. <host host="127.0.0.2" user="mycat"/>

  34. </whitehost>

  35. <blacklist check="false"></blacklist>

  36. </quarantine>

  37. -->

  38. </mycat:server>

  1. # vi /usr/local/mycat/conf/schema.xml

  2. <?xml version="1.0"?>

  3. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">

  4. <mycat:schema xmlns:mycat="http://org.opencloudb/">

  5. <!-- 設定表的儲存方式.schema name="TESTDB" 與 server.xml中的 TESTDB 設定一致 -->

  6. <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

  7. <table name="users" primaryKey="id" type="global" dataNode="node_db01" />

  8. <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">

  9. <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />

  10. </table>

  11. </schema>

  12. <!-- 設定dataNode 對應的資料庫,及 mycat 連線的地址dataHost -->

  13. <dataNode name="node_db01" dataHost="dataHost01" database="db01" />

  14. <dataNode name="node_db02" dataHost="dataHost01" database="db02" />

  15. <dataNode name="node_db03" dataHost="dataHost01" database="db03" />

  16. <!-- mycat 邏輯主機dataHost對應的物理主機.其中也設定對應的mysql登陸資訊 -->

  17. <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">

  18. <heartbeat>select user()</heartbeat>

  19. <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>

  20. </dataHost>

  21. </mycat:schema>

其他參考: