2. 程式人生 > >MySQL中介軟體proxysql實現讀寫分離

MySQL中介軟體proxysql實現讀寫分離

阿新 • • 發佈：2018-12-16

環境說明:

IP 角色 應用 平臺
192.168.161.96 讀寫分離解析主機 proxysql rhel7.4
192.168.161.164 master mysql rhel7.4
192.168.161.167 slave mysql rhel7.4
前提要求：
  • 關閉防火牆
  • 關閉selinux
  • 安裝MySQL並配置主從

在192.168.161.96上做讀寫分離解析主機
安裝ProxySQL

//配置proxysql的yum源
[[email protected] ~]# cat <<EOF | tee /etc/yum.repos.d/proxysql.repo
> [proxysql_repo]
> name=ProxySQL
> baseurl=http://repo.proxysql.com/ProxySQL/proxysql-1.4.x/centos/7
> gpgcheck=1
> gpgkey=http://repo.proxysql.com/ProxySQL/repo_pub_key
> EOF
[proxysql_repo]
name=ProxySQL
baseurl=http://repo.proxysql.com/ProxySQL/proxysql-1.4.x/centos/7
gpgcheck=1
gpgkey=http://repo.proxysql.com/ProxySQL/repo_pub_key
//安裝proxysql
[
 
[email protected] ~]# yum -y install proxysql

//啟動proxysql並設定開機自動啟動
//proxysql預設只提供了sysv風格的啟動指令碼，所以想設定開機自啟則需藉助於chkconfig工具
[[email protected] ~]# systemctl start proxysql
[[email protected] ~]# chkconfig proxysql on
  • mysql主庫新增proxysql可以增刪改查的賬號
mysql> grant all on *.* to 'proxysql'@'192.168.161.96' identified by 'pwproxysql'';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

登入proxysql管理端
安裝mariadb

[[email protected] ~]# yum -y install mariadb
[[email protected] ~]# export MYSQL_PS1="(\[email protected]\h:\p) [\d]> "
[[email protected] ~]# mysql -uadmin -padmin -h127.0.0.1 -P6032
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.5.30 (ProxySQL Admin Module)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

([email protected]:6032) [(none)]> 
([email protected]:6032) [(none)]> show databases;
+-----+---------------+-------------------------------------+
| seq | name          | file                                |
+-----+---------------+-------------------------------------+
| 0   | main          |                                     |
| 2   | disk          | /var/lib/proxysql/proxysql.db       |
| 3   | stats         |                                     |
| 4   | monitor       |                                     |
| 5   | stats_history | /var/lib/proxysql/proxysql_stats.db |
+-----+---------------+-------------------------------------+
5 rows in set (0.00 sec)

資料庫說明：

  • main 記憶體配置資料庫，表裡存放後端db例項、使用者驗證、路由規則等資訊。表名以 runtime開頭的表示proxysql當前執行的配置內容，不能通過dml語句修改，只能修改對應的不以 runtime 開頭的（在記憶體）裡的表，然後 LOAD 使其生效， SAVE 使其存到硬碟以供下次重啟載入
  • disk 是持久化到硬碟的配置，sqlite資料檔案
  • stats 是proxysql執行抓取的統計資訊，包括到後端各命令的執行次數、流量、processlist、查詢種類彙總/執行時間等等
  • monitor 庫儲存 monitor 模組收集的資訊，主要是對後端db的健康/延遲檢查
  • stats_history 統計資訊歷史庫

Proxysql管理端新增後端連線mysql主從資料庫的配置

([email protected]:6032) [(none)]> show tables from main;
+--------------------------------------------+
| tables                                     |
+--------------------------------------------+
| global_variables                           |
| mysql_collations                           |
| mysql_group_replication_hostgroups         |
| mysql_query_rules                          |
| mysql_query_rules_fast_routing             |
| mysql_replication_hostgroups               |
| mysql_servers                              |
| mysql_users                                |
| proxysql_servers                           |
| runtime_checksums_values                   |
| runtime_global_variables                   |
| runtime_mysql_group_replication_hostgroups |
| runtime_mysql_query_rules                  |
| runtime_mysql_query_rules_fast_routing     |
| runtime_mysql_replication_hostgroups       |
| runtime_mysql_servers                      |
| runtime_mysql_users                        |
| runtime_proxysql_servers                   |
| runtime_scheduler                          |
| scheduler                                  |
+--------------------------------------------+
20 rows in set (0.00 sec)

runtime_ 開頭的是執行時的配置，這些是不能修改的。要修改 ProxySQL 的配置，需要修改了非 runtime_ 表，修改後必須執行 LOAD … TO RUNTIME 才能載入到 RUNTIME 生效，執行 save … to disk 才能將配置持久化儲存到磁碟

下面語句中沒有先切換到 main 庫也執行成功了，因為 ProxySQL 內部使用的 SQLite3 資料庫引擎，和 MySQL 的解析方式是不一樣的。即使執行了 USE main 語句也是無任何效果的，但不會報錯

使用 insert 語句新增 mysql 主機到 mysql_servers 表中，其中：hostgroup_id 1 表示寫組，2表示讀組

([email protected]:6032) [(none)]> insert into mysql_servers(hostgroup_id,hostname,port,weight,comment) values(1,'192.168.161.164',3306,1,'Write Group');
Query OK, 1 row affected (0.00 sec)

([email protected]:6032) [(none)]> insert into mysql_servers(hostgroup_id,hostname,port,weight,comment) values(2,'192.168.161.167',3306,1,'Read Group');
Query OK, 1 row affected (0.00 sec)

([email protected]:6032) [(none)]> select * from mysql_servers;
+--------------+-----------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+-------------+
| hostgroup_id | hostname        | port | status | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment     |
+--------------+-----------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+-------------+
| 1            | 192.168.161.164 | 3306 | ONLINE | 1      | 0           | 1000            | 0                   | 0       | 0              | Write Group |
| 2            | 192.168.161.167 | 3306 | ONLINE | 1      | 0           | 1000            | 0                   | 0       | 0              | Read Group  |
+--------------+-----------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+-------------+
2 rows in set (0.00 sec)

修改後，需要載入到RUNTIME，並儲存到disk

([email protected]:6032) [(none)]> load mysql servers to runtime;
Query OK, 0 rows affected (0.00 sec)

([email protected]:6032) [(none)]> save mysql servers to disk;
Query OK, 0 rows affected (0.05 sec)

在 proxysql 主機的 mysql_users 表中新增剛才在 master 上建立的賬號 proxysql，proxysql 客戶端需要使用這個賬號來訪問資料庫
default_hostgroup 預設組設定為寫組，也就是1;
當讀寫分離的路由規則不符合時，會訪問預設組的資料庫;

([email protected]:6032) [(none)]> insert into mysql_users(username,password,default_hostgroup,transaction_persistent)values('proxysql','pwproxysql',1,1);
Query OK, 1 row affected (0.00 sec)


([email protected]:6032) [(none)]> select * from mysql_users \G
*************************** 1. row ***************************
              username: proxysql
              password: pwproxysql
                active: 1
               use_ssl: 0
     default_hostgroup: 1
        default_schema: NULL
         schema_locked: 0
transaction_persistent: 1
          fast_forward: 0
               backend: 1
              frontend: 1
       max_connections: 10000
1 row in set (0.00 sec)
([email protected]:6032) [(none)]> load mysql users to runtime;
Query OK, 0 rows affected (0.00 sec)

([email protected]:6032) [(none)]> save mysql users to disk;
Query OK, 0 rows affected (0.01 sec)

新增健康檢測的帳號
在mysql的 master 端新增屬於proxysql的只讀賬號

mysql> GRANT SELECT ON *.* TO 'monitor'@'192.168.161.%' IDENTIFIED BY 'monitor'; 
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.03 sec)

在proxysql主機端修改變數設定健康檢測的賬號

([email protected]:6032) [(none)]> set mysql-monitor_username='monitor';
Query OK, 1 row affected (0.01 sec)

([email protected]:6032) [(none)]> set mysql-monitor_password='monitor';
Query OK, 1 row affected (0.00 sec)

([email protected]:6032) [(none)]> load mysql variables to runtime;
Query OK, 0 rows affected (0.00 sec)

([email protected]:6032) [(none)]> save mysql variables to disk;
Query OK, 97 rows affected (0.01 sec)

新增讀寫分離的路由規則
需求：

  • 將 select 查詢語句全部路由至 hostgroup_id=2 的組(也就是讀組)
  • 但是 select * from tb for update 這樣的語句是會修改資料的，所以需要單獨定義，將它路由至 hostgroup_id=1 的組(也就是寫組)
  • 其他沒有被規則匹配到的組將會被路由至使用者預設的組(mysql_users 表中的 default_hostgroup)
([email protected]:6032) [(none)]> insert into mysql_query_rules(rule_id,active,match_digest,destination_hostgroup,apply)values(1,1,'^SELECT.*FOR UPDATE$',1,1);
Query OK, 1 row affected (0.00 sec)

([email protected]:6032) [(none)]> insert into mysql_query_rules(rule_id,active,match_digest,destination_hostgroup,apply)values(2,1,'^SELECT',2,1);
Query OK, 1 row affected (0.00 sec)

([email protected]:6032) [(none)]> select rule_id,active,match_digest,destination_hostgroup,apply from mysql_query_rules;
+---------+--------+----------------------+-----------------------+-------+
| rule_id | active | match_digest         | destination_hostgroup | apply |
+---------+--------+----------------------+-----------------------+-------+
| 1       | 1      | ^SELECT.*FOR UPDATE$ | 1                     | 1     |
| 2       | 1      | ^SELECT              | 2                     | 1     |
+---------+--------+----------------------+-----------------------+-------+
2 rows in set (0.00 sec)

([email protected]:6032) [(none)]> load mysql query rules to runtime;
Query OK, 0 rows affected (0.00 sec)

([email protected]:6032) [(none)]> load admin variables to runtime;
Query OK, 0 rows affected (0.00 sec)

([email protected]:6032) [(none)]> save mysql query rules to disk;
Query OK, 0 rows affected (0.01 sec)

([email protected]:6032) [(none)]> save admin variables to disk;
Query OK, 31 rows affected (0.03 sec)

驗證讀寫分離
登入 proxysql 客戶端
登入使用者是剛才我們在 mysql_user 表中建立的使用者，埠為6033

[[email protected] ~]# mysql -uproxysql -ppwproxysql -h127.0.0.1 -P6033
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.5.30 (ProxySQL)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

([email protected]:6033) [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.05 sec)

嘗試修改資料庫和查詢
建立2個數據庫並查詢一下表

([email protected]:6033) [(none)]> create database xixi;
Query OK, 1 row affected (0.00 sec)

([email protected]:6033) [(none)]> create database haha;
Query OK, 1 row affected (0.00 sec)

([email protected]:6033) [(none)]> select user,host from mysql.user;
+---------------+----------------+
| user          | host           |
+---------------+----------------+
| monitor       | 192.168.161.%  |
| proxysql      | 192.168.161.96 |
| mysql.session | localhost      |
| mysql.sys     | localhost      |
| root          | localhost      |
+---------------+----------------+
5 rows in set (0.00 sec)

驗證讀寫分離是否成功
proxysql有個類似審計的功能，可以檢視各類SQL的執行情況，其需要在proxysql管理端執行

[[email protected] ~]# mysql -uadmin -padmin -h127.0.0.1 -P6032
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.30 (ProxySQL Admin Module)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

([email protected]:6032) [(none)]> select * from stats_mysql_query_digest;
+-----------+--------------------+----------+--------------------+----------------------------------+------------+------------+------------+----------+----------+----------+
| hostgroup | schemaname         | username | digest             | digest_text                      | count_star | first_seen | last_seen  | sum_time | min_time | max_time |
+-----------+--------------------+----------+--------------------+----------------------------------+------------+------------+------------+----------+----------+----------+
| 1         | information_schema | proxysql | 0xEB4549A4A010C504 | create database haha             | 1          | 1543034576 | 1543034576 | 2522     | 2522     | 2522     |
| 1         | information_schema | proxysql | 0x2C9014AFB3100E16 | create database xixi             | 1          | 1543034570 | 1543034570 | 2132     | 2132     | 2132     |
| 2         | information_schema | proxysql | 0x0F02B330C823D739 | select user,host from mysql.user | 1          | 1543034594 | 1543034594 | 3562     | 3562     | 3562     |
+-----------+--------------------+----------+--------------------+----------------------------------+------------+------------+------------+----------+----------+----------+
6 rows in set (0.00 sec)

從上面的 hostgroup 和 digest_text 值來看，所有的寫操作都被路由至1組，讀操作都被路由至2組，其中1組為寫組，2組為讀組！

由此可見，讀寫分離成功

相關推薦

MySQL中介軟體proxysql實現讀寫分離

環境說明: IP 角色 應用 平臺 192.168.161.96 讀寫分離解析主機 proxysql rhel7.4 19

Mysql使用ProxySQL實現讀寫分離

mysql讀寫分離 讀寫分離 proxysql proxysql讀寫分離 mysql proxysql ProxySQL簡介： ProxySQL是一個高性能的MySQL中間件，擁有強大的規則引擎。 詳細的中文介紹：別人寫的，基本跟官方無差別 官方文檔：https://github.c

Mysql 8.0--MGR多主--Proxysql實現讀寫分離與負載均衡

proxysql 作為 PXC 叢集的代理實現讀寫分離 參考資料：http://blog.itpub.net/21582653/viewspace-2141126/ 對了，有個問題提前請教一下大家，為什麼我的Proxysql代理只能在本機登入不能在其他機器上使用IP登入啊？

Mysql主從配置，實現讀寫分離

windows安裝 建議 xid 分布式 唯一標識 -1 在線下載 命令 進行 大型網站為了軟解大量的並發訪問，除了在網站實現分布式負載均衡，遠遠不夠。到了數據業務層、數據訪問層，如果還是傳統的數據結構，或者只是單單靠一臺服務器扛，如此多的數據庫連接操作，數據庫必然會崩潰，

ProxySQL實現讀寫分離

ProxySQL簡介 ProxySQL 是一款可以實際用於生產環境的 MySQL 中介軟體，它有官方版和 percona 版兩種。percona版是在官方版的基礎上修改的，添加了幾個比較實用的工具。生產環境建議用官方版。 ProxySQL 是用 C++ 語言開發的，雖然也是一個輕量級產品

黃聰：Mysql主從配置，實現讀寫分離

大型網站為了軟解大量的併發訪問，除了在網站實現分散式負載均衡，遠遠不夠。到了資料業務層、資料訪問層，如果還是傳統的資料結構，或者只是單單靠一臺伺服器扛，如此多的資料庫連線操作，資料庫必然會崩潰，資料丟失的話，後果更是 不堪設想。這時候，我們會考慮如何減少資料庫的聯接，一方面採用優秀的程式碼框架，進行程式碼的優

MySQL主從複製 + Mycat實現讀寫分離

說明：兩臺MySQL伺服器都是使用CentOS6.5系統，MySQL版本為mysql-5.7.17 MySQL一主一被實現主從複製 注意：寫包括insert，delete，update 操作；讀只有select其他操作由主master的二進位制檔案決定。 一．在19

從零開發分散式資料庫中介軟體 一、讀寫分離的資料庫中介軟體

  在傳統的單機體系中，我們在操作資料庫時，只需要直接得到資料庫的連線，然後操作資料庫即可，可是在現在的資料爆炸時代，只靠單機是無法承載如此大的使用者量的，即我們不能縱向擴充套件，那麼我們就只能水平進行擴充套件，即使用讀寫分離的主從資料庫來緩解資料庫的壓力，而在讀寫分離之後

SpringBoot進行MySql動態資料來源配置實現讀寫分離（連線池Druid）

1.簡介 前面使用C3P0連線池進行過資料庫的讀寫分離的實驗，今天換一下資料庫連線池改造一下，原理還是和原來的一樣。 Druid是阿里出品，淘寶和支付寶專用資料庫連線池，但它不僅僅是一個數據庫連線池，它還包含一個ProxyDriver，一系列內建的JDBC元

MySQL之——基於Amoeba實現讀寫分離

今天，我們繼續MySQL的話題，今天為大家帶來一篇基於Amoeba實現MySQL讀寫分離的方案文章，好我們直接進入今天的正題吧。 一、伺服器規劃 主機名 IP地址 節點 liuyazhuang152 192.168.0.152 amoeba liuyazhuang153

mysq通過ProxySQL實現讀寫分離

127.0.0.1 rac 方式 https 特殊 lib 客戶端 端口號 oracl mysq通過ProxySQL實現讀寫分離 常見的讀寫分離應用 Oracle：mysql-proxy qihoo：Atlas 美團：dbproxy 網易：c

docker配置mysql主從與django實現讀寫分離

一、搭建主從mysql環境 1 下載mysql映象 docker pull mysql:5.7 2 執行剛下載的mysql映象檔案 # 執行該命令之前可以使用`docker images`是否下載成功 docker run -p 3307:3306 --name mysql-master -v /mysql

Mysql 實現讀寫分離-Atlas中介軟體

Mysq主從同步原理： Mysql 之間資料複製的基礎是二進位制日誌檔案(bin log file) Slave 資料庫作為slave通過一個 I/O執行緒與主伺服器保持通訊，並監控master的二進位制日誌檔案的變化，如果發現，master二進位制檔案發生變化，則會把變

mysql實現讀寫分離中介軟體MySQL Proxy

MySQL Proxy是一個處於你的client端和MySQL server端之間的簡單程式，它可以監測、分析或改變它們的通訊。它使用靈活，沒有限制，常見的用途包括：負載平衡，故障、查詢分析，查詢過濾和修改等等。 MySQL Proxy就是這麼一箇中間層代理，簡單的說，MySQL Proxy就是一個連線池，

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（一）

don replica ifconfig soft 似的 恢復 select 8.0 ext 準備服務器： docker network create --subnet=192.168.0.0/16 staticnetdocker run -d --privileg

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（二）

ProxySQL安裝 yum/rpm安裝 在github或官網上可以下載rpm包，wiki的Getting start章節有詳細介紹。 cat <<EOF | tee /etc/yum.repos.d/proxysql.repo [proxysql_repo] name= ProxyS

Mysql 分散式叢集 主從同步 讀寫分離 amoeba 中介軟體配置

首先說明一下amoeba 跟 MySQL proxy在讀寫分離的使用上面的區別： 在MySQL proxy 6.0版本 上面如果想要讀寫分離並且 讀叢集、寫叢集 機器比較多情況下，用mysql proxy 需要相當大的工作量，目前mysql proxy沒有現

mysql+mysql_proxy實現讀寫分離

mysql-_proxymysql讀寫分離需要基於主從架構實現 mysql主從配置：http://hongchen99.blog.51cto.com/12534281/1917137 mysql-proxy：用於實現mysql主從分離，基於主從架構讀寫分離存在的最大問題就是主從同步延遲 安裝my

MySQL主從復制 + Mycat實現讀寫分離

date windows repl ron 信息 決定 不用 ati 刪掉 說明：兩臺MySQL服務器都是使用CentOS6.5系統，MySQL版本為mysql-5.7.17 MySQL一主一被實現主從復制 註意：寫包括insert，delete，update 操作；讀只有

使用Spring實現讀寫分離（ MySQL實現主從復制）

sign eve replicat win [] 做了 用戶名 指定 ati 1. 背景 我們一般應用對數據庫而言都是“讀多寫少”，也就說對數據庫讀取數據的壓力比較大，有一個思路就是說采用數據庫集群的方案， 其中一個是主庫，負責寫入數據，我們稱之為：寫庫； 其它都是從庫，