2. 程式人生 > >實現MySQL讀寫分離，MySQL性能調優

實現MySQL讀寫分離，MySQL性能調優

阿新 • • 發佈：2018-01-19
affect iad list cte 軟件包 密碼 sts 要求 select

實現MySQL讀寫分離

1.1 問題

本案例要求配置2臺MySQL服務器+1臺代理服務器，實現MySQL代理的讀寫分離：

  • 用戶只需要訪問MySQL代理服務器，而實際的SQL查詢、寫入操作交給後臺的2臺MySQL服務器來完成
  • 其中Master服務器允許SQL查詢、寫入，Slave服務器只允許SQL查詢

1.2 方案

使用4臺RHEL 7.2虛擬機，如圖-1所示。其中192.168.4.10、192.168.4.20分別作為MySQL主、從服務器，是整個服務的後端；另一臺 192.168.4.100作為MySQL代理服務器，是直接面向客戶的服務前端；客戶機192.168.4.120用作訪問測試。

技術分享圖片

圖－1

對比兩種方式的讀寫分離效果——

  • MySQL主從復制：客戶機訪問Master服務器來寫數據庫，客戶機訪問Slave服務器來讀數據庫。這種情況下，需要客戶端自行區分向何處寫、從何處讀。
  • MySQL主從復制+代理：客戶機訪問Proxy服務器，讀、寫請求交給Proxy識別，如果是寫數據庫操作則交給 Master，如果是讀數據庫操作則交給Slave處理，具體由分配策略控制。這種情況下，無需客戶端區分讀、寫目標，而是由Proxy服務器代勞了，從 而降低了客戶端程序的復雜度。

其中MySQL主、從復制結構的搭建參考前面的課程，這裏不再贅述。

1.3 步驟

實現此案例需要按照如下步驟進行。

步驟一：部署mysql-proxy代理服務器

1）安裝mariadb官方提供的maxscale軟件包

  1. [root@bogon ~]# rpm -ivh maxscale-2.1.2-1.rhel.7.x86_64.rpm

修改配置文件：

  1. [root@pxysvr pub]# [root@bogon ~]# grep -E -v ‘^#‘ /etc/maxscale.cnf
  4. [maxscale]
  5. threads=1
  8. [server1] #指定ip地址對應的名字
  9. type=server
  10. address=192.168.4.10 #主數據庫服務器ip地址
  11. port=3306
  12. protocol=MySQLBackend
  14. [server2] #指定ip地址對應的名字
  15. type=server
  16. address=192.168.4.20 #從數據庫服務器ip地址
  17. port=3306
  18. protocol=MySQLBackend
  20. [MySQL Monitor] #指定要監控的主機 和監控時連接的用戶
  21. type=monitor
  22. module=mysqlmon
  23. servers=server1， server2 #前邊定義的主機名
  24. user=scalemon # 用戶名
  25. passwd=111111 # 密碼
  26. monitor_interval=10000
  30. #[Read-Only Service]
  31. #type=service
  32. #router=readconnroute
  33. #servers=server1
  34. #user=myuser
  35. #passwd=mypwd
  36. #router_options=slave
  39. [Read-Write Service] #定義服務器列表
  40. type=service
  41. router=readwritesplit
  42. servers=server1， server2 #前邊定義的主機名
  43. user=maxscale # 用戶名
  44. passwd=111111 # 密碼
  45. max_slave_connections=100%
  48. [MaxAdmin Service]
  49. type=service
  50. router=cli
  53. #[Read-Only Listener]
  54. #type=listener
  55. #service=Read-Only Service
  56. #protocol=MySQLClient
  57. #port=4008
  59. [Read-Write Listener]
  60. type=listener
  61. service=Read-Write Service
  62. protocol=MySQLClient
  63. port=4006
  65. [MaxAdmin Listener]
  66. type=listener
  67. service=MaxAdmin Service
  68. protocol=maxscaled
  69. socket=default
  70. [root@bogon ~]#

分別在主、從數據庫服務器上添加授權用戶（只在主服務器授權即可 從服務器會自動同步）：

  1. [root@pxysvr pub]# mysql> grant replication slave, replication client on *.* to scalemon@‘%‘ identified by “111111”; //創建監控用戶
  4. mysql> grant select on mysql.* to maxscale@‘%‘ identified by “111111”; //創建路由用戶
  7. mysql> grant all on *.* to student@‘%‘ identified by “111111”;
  8. //創建客戶端訪問用戶

2）啟動maxscale服務

  1. [root@bogon ~]# maxscale --config=/etc/maxscale.cnf
  2. [root@bogon ~]# netstat -utnalp | grep maxscale
  3. tcp 0 0 192.168.4.100:58960 192.168.4.10:3306 ESTABLISHED 19081/maxscale
  4. tcp 0 0 192.168.4.100:43508 192.168.4.20:3306 ESTABLISHED 19081/maxscale
  5. tcp6 0 0 :::4006 :::* LISTEN 19081/maxscale
  6. [root@bogon ~]# kill -9 19081 //通過殺進程的方式停止服務

步驟二：測試配置

1）在客戶端192.168.4.120上使用上邊授權用戶student 連接代理服務器192.168.4.100:

  1. [root@bogon ~]# mysql -h192.168.4.100 -P4006 -ustudent -p111111
  2. MySQL [(none)]> select @@hostname; //顯示當前訪問的主機
  3. +----------------+
  4. | @@hostname |
  5. +----------------+
  6. | slave20 | //顯示的是從服務器的主機名
  7. +----------------+
  8. Query OK, 0 rows affected (0.00 sec)
  10. MySQL [(none)]> insert into bbsdb.a values(111);//插入新紀錄

客戶端當前訪問的是從數據庫服務器，仍然能夠插入紀錄。表示成功。

2 MySQL性能調優

2.1 問題

基於一臺普通版的MySQL服務器，執行下列操作：

  • 練習my.cnf配置相關選項
  • 啟用慢查詢日誌
  • 查看各種系統變量、狀態變量

2.2 步驟

實現此案例需要按照如下步驟進行。

步驟一：MySQL並發及連接控制

max_connections對應並發客戶端連接的數量，增加該值會增加 mysqld 要求的文件描述符的數量。若這個數值太小，可能會經常出現“too many connections”錯誤。比如 默認的數值是151，可以將其改為1024。

1）查看當前已建立的連接數

  1. mysql> FLUSH STATUS;
  2. Query OK, 0 rows affected (0.00 sec)
  4. mysql> SHOW GLOBAL STATUS LIKE ‘max_used_connections‘;
  5. +----------------------+-------+
  6. | Variable_name | Value |
  7. +----------------------+-------+
  8. | Max_used_connections | 5 |
  9. +----------------------+-------+
  10. 1 row in set (0.05 sec)

2）查看當前的最大連接數限制

  1. mysql> SHOW VARIABLES LIKE ‘max_connections‘;
  2. +-----------------+-------+
  3. | Variable_name | Value |
  4. +-----------------+-------+
  5. | max_connections | 151 |
  6. +-----------------+-------+
  7. 1 row in set (0.00 sec)

步驟二：MySQL緩存參數控制

當 Key_reads / Key_read_requests 較低時，可適當加大key_buffer_size的緩存值，以提高性能。而增大sort_buffer_size的值，可以顯著提高ORDER和GROUP的響應速度。

1）查看key_read相關數值

  1. mysql> SHOW GLOBAL STATUS LIKE ‘key_read%‘;
  2. +-------------------+-------+
  3. | Variable_name | Value |
  4. +-------------------+-------+
  5. | Key_read_requests | 0 |
  6. | Key_reads | 0 |
  7. +-------------------+-------+
  8. 2 rows in set (0.00 sec)

2）查看當前的key_buffer_size緩存大小

  1. mysql> SHOW VARIABLES LIKE ‘key_buffer_size‘;
  2. +-----------------+---------+
  3. | Variable_name | Value |
  4. +-----------------+---------+
  5. | key_buffer_size | 8388608 |
  6. +-----------------+---------+
  7. 1 row in set (0.03 sec)

3）查看當前的sort_buffer_size大小

  1. mysql> SHOW VARIABLES LIKE ‘sort_buffer_size‘;
  2. +------------------+--------+
  3. | Variable_name | Value |
  4. +------------------+--------+
  5. | sort_buffer_size | 262144 |
  6. +------------------+--------+
  7. 1 row in set (0.00 sec)

4）查看檢索表記錄時的讀取緩存大小

緩存值read_buffer_size和read_rnd_buffer_size會影響SQL查詢的響應速度：

  1. mysql> SHOW VARIABLES LIKE ‘read_%_size‘;
  2. +----------------------+--------+
  3. | Variable_name | Value |
  4. +----------------------+--------+
  5. | read_buffer_size | 131072 |
  6. | read_rnd_buffer_size | 262144 |
  7. +----------------------+--------+
  8. 2 rows in set (0.00 sec)

步驟三：MySQL線程重用和開表控制

分析“已打開表的數量/當前可緩存表的數量”，比值不超過95%就基本正常。

1）查看當前已打開、一共打開過多少個表

  1. mysql> SHOW GLOBAL STATUS LIKE ‘open%tables‘;
  2. +---------------+-------+
  3. | Variable_name | Value |
  4. +---------------+-------+
  5. | Open_tables | 23 |
  6. | Opened_tables | 72 |
  7. +---------------+-------+
  8. 2 rows in set (0.01 sec)

2）查看當前可緩存多少個打開的表

  1. mysql> SHOW VARIABLES LIKE ‘table_open_cache‘;
  2. +------------------+-------+
  3. | Variable_name | Value |
  4. +------------------+-------+
  5. | table_open_cache | 2000 |
  6. +------------------+-------+
  7. 1 row in set (0.00 sec)

步驟四：MySQL調整示例：記錄慢查詢

1）調整my.cnf配置文件，啟用慢查詢

  1. [root@dbsvr1 ~]# vim /etc/my.cnf
  2. [mysqld]
  3. .. ..
  4. slow_query_log=1 //啟用慢查詢
  5. slow_query_log_file=mysql-slow.log //制定慢查詢日誌文件
  6. long_query_time=5 //查詢耗時超過5秒才記錄
  7. log_queries_not_using_indexes=1 //記錄未使用索引的查詢
  9. [root@dbsvr1 ~]# service mysql restart
  10. Shutting down MySQL..... [確定]
  11. Starting MySQL.... [確定]

2）查看慢查詢日誌（mysqldumpslow工具）

  1. [root@dbsvr1 ~]# mysqldumpslow /var/lib/mysql/mysql-slow.log
  2. Reading mysql slow query log from /var/lib/mysql/mysql-slow.log
  3. Count: 1 Time=0.00s (0s) Lock=0.00s (0s) Rows=0.0 (0), 0users@0hosts
  4. .. ..

3）了解與查詢相關的緩存選項

查看當前的查詢緩存大小：

  1. mysql> SHOW VARIABLES LIKE ‘query_cache%‘;
  2. +------------------------------+---------+
  3. | Variable_name | Value |
  4. +------------------------------+---------+
  5. | query_cache_limit | 1048576 | //超過此大小則不再緩存
  6. | query_cache_min_res_unit | 4096 |
  7. | query_cache_size | 1048576 | //緩存空間的大小
  8. | query_cache_type | OFF |
  9. | query_cache_wlock_invalidate | OFF |
  10. +------------------------------+---------+
  11. 5 rows in set (0.00 sec)

查看當前的查詢緩存統計數據：

  1. mysql> SHOW GLOBAL STATUS LIKE ‘qcache%‘;
  2. +-------------------------+---------+
  3. | Variable_name | Value |
  4. +-------------------------+---------+
  5. | Qcache_free_blocks | 1 |
  6. | Qcache_free_memory | 1031368 | //緩存中的空閑內存
  7. | Qcache_hits | 0 |
  8. | Qcache_inserts | 0 |
  9. | Qcache_lowmem_prunes | 0 |
  10. | Qcache_not_cached | 100 | //不適合緩存的數量
  11. | Qcache_queries_in_cache | 0 |
  12. | Qcache_total_blocks | 1 |
  13. +-------------------------+---------+
  14. 8 rows in set (0.00 sec)

步驟五：關於MySQL狀態和相關變量的查看

1）查看服務器的相關狀態值（運行中動態變化）

使用SHOW GLOBAL STATUS語句，可結合LIKE條件做模糊過濾。

默認有400多個狀態值：

  1. mysql> SHOW GLOBAL STATUS\G
  2. *************************** 1. row ***************************
  3. Variable_name: Aborted_clients
  4. Value: 0
  5. *************************** 2. row ***************************
  6. Variable_name: Aborted_connects
  7. Value: 0
  8. *************************** 3. row ***************************
  9. Variable_name: Binlog_cache_disk_use
  10. Value: 0
  11. *************************** 4. row ***************************
  12. Variable_name: Binlog_cache_use
  13. Value: 0
  14. *************************** 5. row ***************************
  15. Variable_name: Binlog_stmt_cache_disk_use
  16. Value: 0
  17. .. .. //省略中間的大量狀態值
  18. .. ..
  19. *************************** 435. row ***************************
  20. Variable_name: Threads_connected
  21. Value: 1
  22. *************************** 436. row ***************************
  23. Variable_name: Threads_created
  24. Value: 1
  25. *************************** 437. row ***************************
  26. Variable_name: Threads_running
  27. Value: 1
  28. *************************** 438. row ***************************
  29. Variable_name: Uptime
  30. Value: 5322
  31. *************************** 439. row ***************************
  32. Variable_name: Uptime_since_flush_status
  33. Value: 2283
  34. 439 rows in set (0.00 sec)

2）查看服務器的運行選項（一般為靜態限制，可通過my.cnf文件配置，或SET修改）

使用SHOW VARIABLES語句，也可結合LIKE條件做模糊過濾。

默認也有400多個（接近500個）配置選項：

  1. mysql> SHOW VARIABLES\G
  2. *************************** 1. row ***************************
  3. Variable_name: auto_increment_increment
  4. Value: 1
  5. *************************** 2. row ***************************
  6. Variable_name: auto_increment_offset
  7. Value: 1
  8. *************************** 3. row ***************************
  9. Variable_name: autocommit
  10. Value: ON
  11. *************************** 4. row ***************************
  12. Variable_name: automatic_sp_privileges
  13. Value: ON
  14. *************************** 5. row ***************************
  15. Variable_name: back_log
  16. Value: 80
  17. .. .. //省略中間的大量狀態值
  18. .. ..
  19. *************************** 486. row ***************************
  20. Variable_name: version_comment
  21. Value: MySQL Cluster Community Server (GPL)
  22. *************************** 487. row ***************************
  23. Variable_name: version_compile_machine
  24. Value: x86_64
  25. *************************** 488. row ***************************
  26. Variable_name: version_compile_os
  27. Value: Linux
  28. *************************** 489. row ***************************
  29. Variable_name: wait_timeout
  30. Value: 28800
  31. *************************** 490. row ***************************
  32. Variable_name: warning_count
  33. Value: 0
  34. 490 rows in set (0.01 sec)

實現MySQL讀寫分離，MySQL性能調優

相關推薦

實現MySQL讀寫分離，MySQL性能調優

affect iad list cte 軟件包 密碼 sts 要求 select 實現MySQL讀寫分離 1.1 問題 本案例要求配置2臺MySQL服務器+1臺代理服務器，實現MySQL代理的讀寫分離： 用戶只需要訪問MySQL代理服務器，而實際的SQL查詢、寫入操作交給

mycat實現mysql讀寫分離，熱切換，叢集

在網際網路時代，實現mysql讀寫分離，熱切換，叢集能大大提高mysql資料庫訪問壓力，防止資料丟失，使用mycat能幫我們實現這些。我們要實現的是這種架構。 1、Mycat能實現資料庫的垂直切分和水平切分，這裡使用者寫資料的時候，通過mycat把資料按照

Linux的企業-Mysql讀寫分離，組的復制Group-based Replication（2）

mysql讀寫分離 組的復制 基於組的復制（Group-based Replication）是一種被使用在容錯系統中的技術。Replication-group（復制組）是由能夠相互通信的多個服務器（節點）組成的。在通信層，Group replication實現了一系列的機制：比如原子消息（atomic

6MySQL 主從同步 、 MySQL 讀寫分離 、 MySQL 性能調優

chang 時間 form 變量名 col 最大 rom 驗證 uptime day06一、mysql主從同步 二、數據讀寫分離三、MySQL優化++++++++++++++++++++++++++++++++一、mysql主從同步 1.1 主從同步介紹？從庫服務器自動同

Consul, ProxySQL and MySQL MHA（mysql 讀寫分離，高可用）

背景：mysql 官方目前沒有提供比較成熟，穩定的高可用的方案，使得Mysql的高可用方案相對較少，一般都只有簡單的主從，今天和大家分享一個Consul, ProxySQL and MySQL MHA架構的高可用方案： 架構特性：1，高可用2，讀寫分離，查詢路由3，sql過濾等功能 Installatio

amoeba的部署（mysql讀寫分離，負載均衡）

環境前提：java （負載均衡在主從複製環境下針對從庫池，讀寫分離不需要主從複製，有也需要關掉服務才有測試效果） amoeba是阿里沿用的mysql中介軟體， 下載包 amoeba-mysql-3.0.5-RC-distribution.zip 解壓到/usr/src/ 主要兩個配置檔案 d

線上MySQL讀寫分離，出現寫完讀不到問題如何解決

大家好，我是歷小冰。 今天我們來詳細瞭解一下主從同步延遲時讀寫分離發生寫後讀不到的問題，依次講解問題出現的原因，解決策略以及 Sharding-jdbc、MyCat 和 MaxScale 等開源資料庫中介軟體具體的實現方案。 ### 寫後讀不到問題 MySQL 經典的一主兩從三節點架構是大多數創業公司初

mysql讀寫分離(一)----------mysql安裝

環境： centos:5.7 mysql:percona-server-5.6.23-72.1.tar 編譯安裝步驟： 簡介 Percona server 是 MySQL 的衍生版，專注於 Linux/BSD 下 MySQL 資料庫伺服器的改進， 在功能和效能上

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（一）

don replica ifconfig soft 似的 恢復 select 8.0 ext 準備服務器： docker network create --subnet=192.168.0.0/16 staticnetdocker run -d --privileg

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（二）

ProxySQL安裝 yum/rpm安裝 在github或官網上可以下載rpm包，wiki的Getting start章節有詳細介紹。 cat <<EOF | tee /etc/yum.repos.d/proxysql.repo [proxysql_repo] name= ProxyS

通過Maxscale代理，實現MySQL讀寫分離

一、搭建MySQL主從架構 二、藉助MySQL代理Maxscale實現SQL層讀寫分離     MySQL代理的工具比較多，有MySQL Proxy，Maxscale，ProxySQL ,360的Atlas，實際安裝之中，發現Atlas和maxscale好用，不會出現

mycat+mysql叢集:實現讀寫分離，分庫分表

1.mycat文件：https://github.com/MyCATApache/Mycat-doc       官方網站：http://www.mycat.org.cn/2.mycat的優點：配置簡單，靈活可實現讀寫分離可利用多種規則實現分庫分表心跳機制，自動踢出故障機組

提高性能，MySQL 讀寫分離環境搭建(二)

公眾號 tro binlog 重啟 tar 分離 .org ima 討論 title: 提高性能，MySQL 讀寫分離環境搭建(二)tags: MySQLcategories: MySQLabbrlink: 60ae3a4ddate: 2019-05-13 10:12:3

amoeba實現mysql讀寫分離+主從復制架構

mysql amoeba 讀寫分離 主從復制一、環境系統：centos6.5mysql版本：mysql5.6master服務器：192.168.1.21slave服務器： 192.168.1.100master寫 slave讀二、實現mysql主從復制在master的/etc/my.cnf中[mysqld]字

mysql中間件amoeba實現mysql讀寫分離

ipaddress -c export div 高可用 rop 6.0 res grant Amoeba是一個以MySQL為底層數據存儲，並相應用提供MySQL協議接口的proxy。它集中地響應應用的請求，根據用戶事先設置的規則。將SQL請求發送到特定的數據庫上運行

mysql讀寫分離的三種實現方式

不能 span bsp 缺點 解決方案 使用 隨機 mas 均衡 　　1 程序修改mysql操作類可以參考PHP實現的Mysql讀寫分離，阿權開始的本項目，以php程序解決此需求。優點：直接和數據庫通信，簡單快捷的讀寫分離和隨機的方式實現的負載均衡，權限獨立分配缺點：自己維

mycat實現MySQL讀寫分離

mycat mysql讀寫分離 mycat實現MySQL讀寫分離mycat是什麽Mycat是一個開源的分布式數據庫系統，但是由於真正的數據庫需要存儲引擎，而Mycat並沒有存儲引擎，所以並不是完全意義的分布式數據庫系統。Mycat是數據庫中間件，就是介於數據庫與應用之間，進行數據處理與交互的中間服務。

使用Spring AOP實現MySQL讀寫分離

npr getclass mod rac ava nfa release box port spring aop ， mysql 主從配置 實現讀寫分離，下來把自己的配置過程，以及遇到的問題記錄下來，方便下次操作，也希望給一些朋友帶來幫助。mysql主從配置參看：http:

使用Spring實現讀寫分離（ MySQL實現主從復制）

sign eve replicat win [] 做了 用戶名 指定 ati 1. 背景 我們一般應用對數據庫而言都是“讀多寫少”，也就說對數據庫讀取數據的壓力比較大，有一個思路就是說采用數據庫集群的方案， 其中一個是主庫，負責寫入數據，我們稱之為：寫庫； 其它都是從庫，

主從同步、讀寫分離、mysql性能調優(軟優化)

tab ren 主庫 its 使用命令 mysql lee 運行 lte 配置mysql主從同步1 主從同步的作用：讓slave身份的數據庫服務器自動同步 master身份的數據庫服務器上的數據。 一、主數據庫服務器的配置192.168.4.121 用戶授權mysql&g