2. 程式人生 > >MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

阿新 • • 發佈：2017-09-16
native 分布 for 成功 img 問題 represent apache 新一代

本文引用於http://blog.csdn.net/kk185800961/article/details/51147029

MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

什麽是MYCAT：

一個徹底開源的，面向企業應用開發的大數據庫集群

支持事務、ACID、可以替代MySQL的加強版數據庫

一個可以視為MySQL集群的企業級數據庫，用來替代昂貴的Oracle集群

一個融合內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Server

結合傳統數據庫和新型分布式數據倉庫的新一代企業級數據庫產品

一個新穎的數據庫中間件產品

Mycat關鍵特性 ：

支持SQL92標準

遵守Mysql原生協議，跨語言，跨平臺，跨數據庫的通用中間件代理。

基於心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基於Nio實現，有效管理線程，高並發問題。

支持數據的多片自動路由與聚合，支持sum,count,max等常用的聚合函數,支持跨庫分頁。

支持單庫內部任意join，支持跨庫2表join，甚至基於caltlet的多表join。

支持通過全局表，ER關系的分片策略，實現了高效的多表join查詢。

支持多租戶方案。

支持分布式事務（弱xa）。

支持全局序列號，解決分布式下的主鍵生成問題。

分片規則豐富，插件化開發，易於擴展。

強大的web，命令行監控。

支持前端作為mysq通用代理，後端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密碼加密

支持服務降級

支持IP白名單

支持SQL黑名單、sql註入攻擊攔截

支持分表（1.6）

集群基於ZooKeeper管理，在線升級，擴容，智能優化，大數據處理（2.0開發版）。

（官方說明參考：Mycat 數據庫分庫分表中間件 ）

JDK 下載（建議要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相關：

Mycat 捐贈地址：http://www.mycat.io/donate.html

Mycat 官斱網站：http://www.mycat.io/

Mycat 源碼：https://github.com/MyCATApache/Mycat-Server

Mycat 下載地址：https://github.com/MyCATApache/Mycat-download


既然 mycat 那麽強大，那就測試看看：

技術分享

#測試環境：

# 有3張表 users,item,item_detail (item 的子表) 和 3 個數據庫 db01,db02,db03

# 表 users 存儲在數據庫 db01, 表 item 和 item_detail 分布存儲在數據 db01 和 db02

# 現在在3個數據庫都創建相同的表

[sql] view plain copy
  1. create database db01;
  2. create database db02;
  3. create database db03;
  5. CREATE TABLE users (
  6. id INT NOT NULL AUTO_INCREMENT,
  7. name varchar(50) NOT NULL default ‘‘,
  8. indate DATETIME NOT NULL default ‘0000-00-00 00:00:00‘,
  9. PRIMARY KEY (id)
  10. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
  12. CREATE TABLE item (
  13. id INT NOT NULL AUTO_INCREMENT,
  14. value INT NOT NULL default 0,
  15. indate DATETIME NOT NULL default ‘0000-00-00 00:00:00‘,
  16. PRIMARY KEY (id)
  17. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;
  19. CREATE TABLE item_detail (
  20. id INT NOT NULL AUTO_INCREMENT,
  21. value INT NOT NULL default 0,
  22. name varchar(50) NOT NULL default ‘‘,
  23. item_id INT NOT NULL,
  24. PRIMARY KEY (id),
  25. key (item_id)
  26. )AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;



# JDK 安裝配置

[plain] view plain copy
  1. cd /usr/local/src
  2. tar xvf jdk-7u80-linux-i586.tar.gz
  3. mkdir -p /usr/local/java
  4. mv /usr/local/src/jdk1.7.0_80 /usr/local/java/
  5. chown -R root:root /usr/local/java
  6. cd /usr/local/java/


#配置環境變量

[plain] view plain copy
  1. vi /etc/profile
  2. vi ~/.bash_profile
  4. export JAVA_HOME=/usr/local/java/jdk1.7.0_80
  5. export PATH=$PATH:$JAVA_HOME/bin
  6. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar


#設置生效（最好重啟系統）

[plain] view plain copy
  1. source /etc/profile
  2. source ~/.bash_profile


#測試是否安裝成功

[plain] view plain copy
  1. [[email protected] ~]# java -version
  2. java version "1.7.0_80"
  3. Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
  4. Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)



# Mycat 安裝配置

[plain] view plain copy
  1. cd /usr/local/src
  2. tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz
  3. mv /usr/local/src/mycat /usr/local/
  5. groupadd mycat
  6. useradd -g mycat mycat
  7. passwd mycat
  8. chown -R mycat.mycat /usr/local/mycat


#添加環境變量

[plain] view plain copy
  1. vi /etc/profile
  2. vi ~/.bash_profile
  4. export MYCAT_HOME=/usr/local/mycat


#設置生效（最好重啟系統）

[plain] view plain copy
  1. source /etc/profile
  2. source ~/.bash_profile


#服務器名和IP綁定

[plain] view plain copy
  1. vi /etc/hosts
  2. 192.168.100.50 server1
  3. 127.0.0.1 server1


# 設置 wrapper.java.command 的java 路徑

( 同時可設置 -Xmx 和 -Xms ，參考： mycat 啟動失敗 The specified size exceeds the maximum representable size)

[plain] view plain copy
  1. vi /usr/local/mycat/conf/wrapper.conf
  3. wrapper.java.command=%JAVA_HOME%/bin/java


#配置 server.xml 和 schema.xml (本案例配置信息在文章底部)

[plain] view plain copy
  1. vi /usr/local/mycat/conf/server.xml
  2. vi /usr/local/mycat/conf/schema.xml


#啟動mycat服務 ./mycat { console | start | stop | restart | status | dump }

[plain] view plain copy
  1. /usr/local/mycat/bin/mycat console

[plain] view plain copy
  1. #mycat 進程
  2. ps -ef | grep mycat
  4. #日子信息
  5. tail -20 /usr/local/mycat/logs/wrapper.log



測試：

#訪問 mycat (憑據參考 /usr/local/mycat/conf/server.xml)

[plain] view plain copy
  1. mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

[sql] view plain copy
  1. mysql> show databases;
  2. +----------+
  3. | DATABASE |
  4. +----------+
  5. | TESTDB |
  6. +----------+
  8. mysql> show tables;
  9. +------------------+
  10. | Tables in TESTDB |
  11. +------------------+
  12. | item |
  13. | item_detail |
  14. | users |
  15. +------------------+


#在 mycat 中插入數據並查詢：

[sql] view plain copy
  1. insert into users(name,indate) values(‘kk‘,now());
  2. insert into item(id,value,indate) values(1,100,now());
  3. insert into item_detail(value,name,item_id) values(‘pad‘,40,1);
  4. insert into item_detail(value,name,item_id) values(‘phone‘,50,1);
  6. insert into item(id,value,indate) values(999,100,now());
  7. insert into item_detail(value,name,item_id) values(‘pad‘,40,999);
  8. insert into item_detail(value,name,item_id) values(‘phone‘,50,999);
[sql] view plain copy
  1. mysql> select * from users;
  2. +----+------+---------------------+
  3. | id | name | indate |
  4. +----+------+---------------------+
  5. | 1 | kk | 2016-04-13 06:28:00 |
  6. +----+------+---------------------+
  8. mysql> select * from item;
  9. +-----+-------+---------------------+
  10. | id | value | indate |
  11. +-----+-------+---------------------+
  12. | 999 | 100 | 2016-04-13 06:34:12 |
  13. | 1 | 100 | 2016-04-13 06:32:58 |
  14. +-----+-------+---------------------+
  16. mysql> select * from item_detail;
  17. +----+-------+------+---------+
  18. | id | value | name | item_id |
  19. +----+-------+------+---------+
  20. | 1 | 0 | 40 | 999 |
  21. | 2 | 0 | 50 | 999 |
  22. | 1 | 0 | 40 | 1 |
  23. | 2 | 0 | 50 | 1 |
  24. +----+-------+------+---------+



#打開另一個終端，使用mysql賬號登陸訪問查看表情況

[plain] view plain copy
  1. mysql -uroot -ptest -p


#具體的表數據存儲情況：

[sql] view plain copy
  1. -----------------------------------------
  2. mysql> select * from db01.users;
  3. +----+------+---------------------+
  4. | id | name | indate |
  5. +----+------+---------------------+
  6. | 1 | kk | 2016-04-13 06:28:00 |
  7. +----+------+---------------------+
  9. mysql> select * from db02.users;
  11. mysql> select * from db03.users;
  13. -----------------------------------------
  15. mysql> select * from db01.item;
  17. mysql> select * from db02.item;
  18. +-----+-------+---------------------+
  19. | id | value | indate |
  20. +-----+-------+---------------------+
  21. | 999 | 100 | 2016-04-13 06:34:12 |
  22. +-----+-------+---------------------+
  24. mysql> select * from db03.item;
  25. +----+-------+---------------------+
  26. | id | value | indate |
  27. +----+-------+---------------------+
  28. | 1 | 100 | 2016-04-13 06:32:58 |
  29. +----+-------+---------------------+
  31. -----------------------------------------
  33. mysql> select * from db01.item_detail;
  35. mysql> select * from db02.item_detail;
  36. +----+-------+------+---------+
  37. | id | value | name | item_id |
  38. +----+-------+------+---------+
  39. | 1 | 0 | 40 | 999 |
  40. | 2 | 0 | 50 | 999 |
  41. +----+-------+------+---------+
  43. mysql> select * from db03.item_detail;
  44. +----+-------+------+---------+
  45. | id | value | name | item_id |
  46. +----+-------+------+---------+
  47. | 1 | 0 | 40 | 1 |
  48. | 2 | 0 | 50 | 1 |
  49. +----+-------+------+---------+

測試完成！！~數據進行了分庫分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情況

[plain] view plain copy
  1. # vi /usr/local/mycat/conf/server.xml
  3. <?xml version="1.0" encoding="UTF-8"?>
  4. <!DOCTYPE mycat:server SYSTEM "server.dtd">
  5. <mycat:server xmlns:mycat="http://org.opencloudb/">
  6. <system>
  7. <!--
  8. <property name="processors">32</property>
  9. <property name="processorExecutor">32</property>
  10. <property name="bindIp">0.0.0.0</property>
  11. <property name="frontWriteQueueSize">4096</property>
  12. <property name="idleTimeout">300000</property>
  13. <property name="mutiNodePatchSize">100</property>
  14. -->
  15. <property name="defaultSqlParser">druidparser</property>
  16. <property name="mutiNodeLimitType">1</property>
  17. <property name="serverPort">8066</property>
  18. <property name="managerPort">9066</property>
  19. </system>
  20. <!-- 任意設置登陸 mycat 的用戶名,密碼,數據庫 -->
  21. <user name="test">
  22. <property name="password">test</property>
  23. <property name="schemas">TESTDB</property>
  24. </user>
  26. <user name="user">
  27. <property name="password">user</property>
  28. <property name="schemas">TESTDB</property>
  29. <property name="readOnly">true</property>
  30. </user>
  31. <!--
  32. <quarantine>
  33. <whitehost>
  34. <host host="127.0.0.1" user="mycat"/>
  35. <host host="127.0.0.2" user="mycat"/>
  36. </whitehost>
  37. <blacklist check="false"></blacklist>
  38. </quarantine>
  39. -->
  40. </mycat:server>

[plain] view plain copy
  1. # vi /usr/local/mycat/conf/schema.xml
  3. <?xml version="1.0"?>
  4. <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
  5. <mycat:schema xmlns:mycat="http://org.opencloudb/">
  7. <!-- 設置表的存儲方式.schema name="TESTDB" 與 server.xml中的 TESTDB 設置一致 -->
  8. <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
  9. <table name="users" primaryKey="id" type="global" dataNode="node_db01" />
  11. <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">
  12. <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />
  13. </table>
  14. </schema>
  16. <!-- 設置dataNode 對應的數據庫,及 mycat 連接的地址dataHost -->
  17. <dataNode name="node_db01" dataHost="dataHost01" database="db01" />
  18. <dataNode name="node_db02" dataHost="dataHost01" database="db02" />
  19. <dataNode name="node_db03" dataHost="dataHost01" database="db03" />
  21. <!-- mycat 邏輯主機dataHost對應的物理主機.其中也設置對應的mysql登陸信息 -->
  22. <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
  23. <heartbeat>select user()</heartbeat>
  24. <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>
  25. </dataHost>
  26. </mycat:schema>



其他參考：

http://www.csdn.net/article/2015-07-16/2825228 （原理及應用）

http://www.songwie.com/articlelist/50（理論和實踐 寫的好）

http://ly.blog.itpub.net/29733787/viewspace-2049139/（示例） MyCAT安裝使用及簡單測試

http://www.cnblogs.com/ivictor/p/5111495.html（示例） MyCAT簡易入門

http://www.2cto.com/database/201503/385641.html（示例） Mycat水平分表，垂直分表實踐（2）

http://www.51testing.com/html/34/369434-3686088.html（示例）使用Mycat 做簡單的讀寫分離(一)

MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

相關推薦

MySQL 高可用：mysql+mycat實現數據庫分片（分庫分表）

native 分布 for 成功 img 問題 represent apache 新一代 本文引用於http://blog.csdn.net/kk185800961/article/details/51147029 MySQL 高可用：mysql+mycat實現數據庫分片（

MySQL 高可用：mysql+mycat實現資料庫分片（分庫分表）

什麼是MYCAT： 一個徹底開源的，面向企業應用開發的大資料庫叢集 支援事務、ACID、可以替代MySQL的加強版資料庫 一個可以視為MySQL叢集的企業級資料庫，用來替代昂貴的Oracle叢集 一個融合記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Se

MySQL資料庫分片（分庫分表）

分庫分表 將存放在一個數據庫中的資料，按照特定方式進行拆分，分散到多個數據庫中，已達到分散單臺裝置負載的效果 垂直分割（縱向切分） 水平分割（橫向切分） 將單個表，拆分成多個表，分散到不同的資料庫 將單資料庫的多個表進

MySQL 高可用：mysql+Lvs+Keepalived 負載均衡及故障轉移

ica 目錄 details software fwm 多個 優先級 sql 服務器 規則 轉自 MySQL 高可用：mysql+Lvs+Keepalived 負載均衡及故障轉移 - KK ——專註數據 - 博客頻道 - CSDN.NETh

【MySQL】通過Binary Log簡單實現數據回滾（一）

pre mage 用途 top IT cal 時間 excel var 一、前言 對，沒錯，我又水了好一陣子，深刻反思寄幾。前段時間，工作項目上出於對excel等批量操作可能出現誤操作的問題，要求提供一個能夠根據操作批次進行數據回滾的能力。在開發的過程中接觸到了MySQL的

基於 MySQL 的數據庫實踐（擴展運算）

之間 art history 上進 簡化 source 希望 AC 顯示 select 中的通配符 星號 * 可以用在 select 子句中表示所有的屬性。 mysql> select instructor.* -> from instructor, t

MySQL數據庫8（二十六）存儲過程

com 直接 形參 基本上 一次 cal inf 分享 技術分享 存儲過程 存儲過程的概念 存儲過程（stored procedure）是在大型數據庫系統中，一組為了完成特定功能的SQL語句集，存儲在數據庫中，經過第一次編譯後再次調用不需要再次編譯，（效率比較高）用戶通

MySQL數據庫8（二十五）變量作用域

圖片 沒有 http global 而且 局部作用域 數據庫 過程 會話 變量作用域 變量作用域：變量能夠使用的區域範圍 局部作用域 使用declare關鍵字聲明（在結構體內：函數/存儲過程/觸發器），而且只能在結構體內部使用。 declare關鍵字聲明的變量沒有任何符號修

MySQL數據庫8（二十二）變量

rom 器） bubuko ima sql數據庫 字段 strong 技術分享 觸發 變量 Mysql本質是一種編程語言，需要很多變量來保存數據。Mysql中有很多的屬性控制都是通過mysql中固有的變量來實現的。 系統變量 系統內部定義的變量，系統變量針對所有用戶（m

MySQL數據庫8（二十一）事務

進行 nod 隔離性 檢查 永久 sql數據庫 nbsp tran bubuko 事務安全 事務概念 l Transaction l 事務：一個最小的不可再分的工作單元；通常一個事務對應一個完整的業務(例如銀行賬戶轉賬業務，該業務就是一個最小的工作單元) l 一個完整

MySQL數據庫8（二十四）函數

base 包含 參數 自定義 reat 方法 database val 解決方法 函數 在MySQL中，函數分為兩類：系統函數（內置函數）和自定義函數 不管是內置函數還是用戶自定義函數，都是使用select函數名（參數列表） 內置函數 字符串函數 Mysql8 字符串函數

MySQL數據庫基礎（筆記整理一）

-m msql 服務 now() 程序 exit root用戶 如果 有關 數據庫的組織結構 MySQL屬於關系數據庫管理系統(Relational Database Management System, RDBMS) 數據庫(Database,DB)即一個用來存放信息的

MySQL數據庫基礎（筆記整理三）

習慣 間隔 清除 數據 count() 增刪改 tis 書寫 shel 檢索信息 SELECT語句允許以你喜歡的方式檢索和顯示數據表裏的信息。通常SELECT語句由以下幾個部分組成： SELECT what to retrieve FORM table or tables

MySQL數據庫基礎（筆記整理四）

情況 rom mys 生成 block 別名 表操作 嵌套 循環 多表查詢 當你打算從多個數據表選取信息時，有一種方法叫做聯結(join)。把一個數據表與另一個數據表中的信息結合起來才能得到查詢結果。聯結操作是通過並把兩個（或多個）數據表裏的同類數據進行匹配而完成的。多表操

數據庫（分庫分表）中間件對比

系統瓶頸 地址 ring 缺點 無需 網絡io 數據遷移 用戶 osql 轉自：http://www.cnblogs.com/cangqiongbingchen/p/7094822.html 分區：對業務透明，分區只不過把存放數據的文件分成了許多小塊，例如mysql中的一張

WAF Bypass數據庫特性（Oracle探索篇）

位置 null ner mysq 記錄 sel acl oracle %20 0x01 背景 oracle與mysql特性類似，半自動化fuzz了一下，記錄成果。 0x02 測試 位置一：參數和union之間的位置 1)空白字符 Oracle中可以利用的空白字符有： %0

Java中Dao模式中Dao的數據庫操作（BaseDao的寫法）

nec roo sql rac 127.0.0.1 關閉 ron [] cnblogs Dao模式是Java面向設計時的一種模式。而Dao中的BaseDao無非是對數據進行CURD（增刪改查），下面是最常用的連接，增刪改查的方法。 1 package dao;

laravel中的數據庫操作（增刪改查）方法一

-s delet 增刪 insert 修改 name tro des 命名空間 導入命名空間和DBnamespace App\Http\Controllers;use Illuminate\Support\Facades\DB; public function index

第一章 Oracle 11g 數據庫系統 （2018.3.16）

begin where 替換 運行 sql file 同時 use dbms 一個Oracle數據庫服務器包括： 1、 存儲oracle數據的物理數據庫，即保存oracle數據庫數據的一系列物理文件，包含控制文件、數據文件、日誌文件和其他文件。 2、 Oracle實例：

php連接數據庫類（後續再加）

php連接數據庫類（後續再加）<?php $dsn = ‘mysql:dbname=test;host=127.0.0.1‘; $user = ‘root‘; $password = ‘12345678‘; $dbh = new PDO($dsn, $user, $password); if(!$dbh