分析診斷工具之一：MYSQL效能檢視(多指標）

阿新 • • 發佈：2019-02-04

網上有很多的文章教怎麼配置MySQL伺服器，但考慮到伺服器硬體配置的不同，具體應用的差別，那些文章的做法只能作為初步設定參考，我們需要根據自己的情況進行配置優化，好的做法是MySQL伺服器穩定運行了一段時間後執行，根據伺服器的”狀態”進行優化。

開啟慢查詢方法：其實開啟mysql的慢查詢日誌很簡單,只需要在mysql的配置檔案裡(windows系統是my.ini,linux系統是my.cnf)的[mysqld]下面加上如下程式碼：

log-slow-queries = /usr/local/mysql/var/slowquery.log
long_query_time = 1  #單位是秒
log-queries-not-using 
-indexes

或者：

使用sql語句來修改：不能按照my.conf中的項來修改的。修改通過"show VARIABLES like "%slow%" "
語句列出來的變數，執行如下sql：

set global log_slow_queries = ON;
set global slow_query_log = ON;
#set global long_query_time=0.1; #設定大於0.1s的sql語句記錄下來，我試驗沒有成功

結果：

慢查詢日誌已經開啟，如下所示：

檢視慢日誌配置情況：

|
| slow_query_log_file | /var/lib/mysql/cmos1-slow.log |
+---------------------------+-------------------------------+

檢視慢查詢時間：

超過10秒的查詢將會被記錄，測試如下:

找個客戶端執行select sleep(11);

再看show status及日誌：

mysql> show processlist;
+----+------+---------------------+---------+---------+------+------------+------------------+
| Id | User | Host                | db      | Command | Time | State      | Info             |
+----+------+---------------------+---------+---------+------+------------+------------------+
|  3 | root | 10.202.37.75:54830  | ud_omcs | Sleep   |    3 |            | NULL             |
|  4 | root | 10.202.11.118:16644 | ud_omcs | Sleep   |    0 |            | NULL             |
|  7 | root | localhost           | ud_omcs | Query   |    0 | starting   | show processlist |
|  8 | root | 10.118.62.181:51533 | ud_omcs | Sleep   | 1328 |            | NULL             |
|  9 | root | 10.118.62.181:51551 | ud_omcs | Query   |    9 | User sleep | select sleep(11) |
| 10 | root | 10.118.62.156:52938 | omcs    | Sleep   |    0 |            | NULL             |
| 11 | root | 10.118.62.156:52939 | omcs    | Sleep   |    0 |            | NULL             |
+----+------+---------------------+---------+---------+------+------------+------------------+

mysql> show global status like '%slow%';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| Slow_launch_threads | 0     |
| Slow_queries        | 1     |
+---------------------+-------+
2 rows in set (0.00 sec)

##select db, query_TIME, lock_time, rows_examined, sql_text from mysql.slow_log
select db, query_TIME, lock_time, rows_examined, sql_text from mysql.slow_log

慢日誌如下：

分析完了記得關閉慢日誌。

執行：

set global log_slow_queries = OFF;
set global slow_query_log = OFF;

結果：

配置中打開了記錄慢查詢，執行時間超過2秒的即為慢查詢，系統顯示有4148個慢查詢，你可以分析慢查詢日誌，找出有問題的SQL語句，慢查詢時間不宜設定過長，否則意義不大，最好在5秒以內，如果你需要微秒級別的慢查詢，可以考慮給MySQL打補丁：http://www.percona.com/docs/wiki/release:start，記得找對應的版本。
　　mysql> show global status;
　　可以列出MySQL伺服器執行各種狀態值，另外，查詢MySQL伺服器配置資訊語句：
　　mysql> show variables;
　　一、慢查詢
　　mysql> show variables like '%slow%';
　　+------------------+-------+
　　| Variable_name | Value |
　　+------------------+-------+
　　| log_slow_queries | ON |
　　| slow_launch_time | 2 |
　　+------------------+-------+
　　mysql> show global status like '%slow%';
　　+---------------------+-------+
　　| Variable_name | Value |
　　+---------------------+-------+
　　| Slow_launch_threads | 0 |
　　| Slow_queries | 4148 |
　　+---------------------+-------+　　

　　開啟慢查詢日誌可能會對系統性能有一點點影響，如果你的MySQL是主-從結構，可以考慮開啟其中一臺從伺服器的慢查詢日誌，這樣既可以監控慢查詢，對系統性能影響又小。

　　二、連線數
　　經常會遇見”MySQL: ERROR 1040: Too many connections”的情況，一種是訪問量確實很高，MySQL伺服器抗不住，這個時候就要考慮增加從伺服器分散讀壓力，另外一種情況是MySQL配置檔案中max_connections值過小：
　　mysql> show variables like 'max_connections';
　　+-----------------+-------+
　　| Variable_name | Value |
　　+-----------------+-------+
　　| max_connections | 256 |
　　+-----------------+-------+　　

這臺MySQL伺服器最大連線數是256，然後查詢一下伺服器響應的最大連線數：
　　mysql> show global status like ‘Max_used_connections’;
　　MySQL伺服器過去的最大連線數是245，沒有達到伺服器連線數上限256，應該沒有出現1040錯誤，比較理想的設定是：
　　Max_used_connections / max_connections * 100% ≈ 85%
　　最大連線數占上限連線數的85%左右，如果發現比例在10%以下，MySQL伺服器連線數上限設定的過高了。

　　三、Key_buffer_size
　　key_buffer_size是對MyISAM表效能影響最大的一個引數，下面一臺以MyISAM為主要儲存引擎伺服器的配置：
　　mysql> show variables like ‘key_buffer_size’;
　　+-----------------+------------+
　　| Variable_name | Value |
　　+-----------------+------------+
　　| key_buffer_size | 536870912 |
　　+-----------------+------------+　　

一共有27813678764個索引讀取請求，有6798830個請求在記憶體中沒有找到直接從硬碟讀取索引，計算索引未命中快取的概率：
　　key_cache_miss_rate = Key_reads / Key_read_requests * 100%
　　比如上面的資料，key_cache_miss_rate為0.0244%，4000個索引讀取請求才有一個直接讀硬碟，已經很BT了,key_cache_miss_rate在0.1%以下都很好(每1000個請求有一個直接讀硬碟)，如果key_cache_miss_rate在0.01%以下的話，key_buffer_size分配的過多，可以適當減少。
　　MySQL伺服器還提供了key_blocks_*引數：
　　mysql> show global status like 'key_blocks_u%';
　　+------------------------+-------------+
　　| Variable_name | Value |
　　+------------------------+-------------+
　　| Key_blocks_unused | 0 |
　　| Key_blocks_used | 413543 |
　　+------------------------+-------------+　　

Key_blocks_unused表示未使用的快取簇(blocks)數，Key_blocks_used表示曾經用到的最大的blocks數，比如這臺伺服器，所有的快取都用到了，要麼增加key_buffer_size，要麼就是過渡索引了，把快取佔滿了。比較理想的設定：
　　Key_blocks_used / (Key_blocks_unused + Key_blocks_used) * 100% ≈ 80%

　　四、臨時表
　　mysql> show global status like 'created_tmp%';
　　+-------------------------+---------+
　　| Variable_name | Value |
　　+-------------------------+---------+
　　| Created_tmp_disk_tables | 21197 |
　　| Created_tmp_files | 58 |
　　| Created_tmp_tables | 1771587 |
　　+-------------------------+---------+　　

每次建立臨時表，Created_tmp_tables增加，如果是在磁碟上建立臨時表，Created_tmp_disk_tables也增加,Created_tmp_files表示MySQL服務建立的臨時檔案檔案數，比較理想的配置是：
　　Created_tmp_disk_tables / Created_tmp_tables * 100% <= 25%
　　比如上面的伺服器Created_tmp_disk_tables / Created_tmp_tables * 100% = 1.20%，應該相當好了。我們再看一下MySQL伺服器對臨時表的配置：
　　mysql> show variables where Variable_name in ('tmp_table_size', 'max_heap_table_size');
　　+---------------------+-----------+
　　| Variable_name | Value |
　　+---------------------+-----------+
　　| max_heap_table_size | 268435456 |
　　| tmp_table_size | 536870912 |
　　+---------------------+-----------+　　

只有256MB以下的臨時表才能全部放記憶體，超過的就會用到硬碟臨時表。
　　五、Open Table情況
　　mysql> show global status like 'open%tables%';
　　+---------------+-------+
　　| Variable_name | Value |
　　+---------------+-------+
　　| Open_tables | 919 |
　　| Opened_tables | 1951 |
　　+---------------+-------+　　

Open_tables表示開啟表的數量，Opened_tables表示開啟過的表數量，如果Opened_tables數量過大，說明配置中table_cache(5.1.3之後這個值叫做table_open_cache)值可能太小，我們查詢一下伺服器table_cache值：
　　mysql> show variables like 'table_cache';
　　+---------------+-------+
　　| Variable_name | Value |
　　+---------------+-------+
　　| table_cache | 2048 |
　　+---------------+-------+
　　比較合適的值為：
　　Open_tables / Opened_tables * 100% >= 85%
　　Open_tables / table_cache * 100% <= 95%

　　六、程序使用情況
　　mysql> show global status like ‘Thread%’;
　　+-------------------+-------+
　　| Variable_name | Value |
　　+-------------------+-------+
　　| Threads_cached | 46 |
　　| Threads_connected | 2 |
　　| Threads_created | 570 |
　　| Threads_running | 1 |
　　+-------------------+-------+　　

如果我們在MySQL伺服器配置檔案中設定了thread_cache_size，當客戶端斷開之後，伺服器處理此客戶的執行緒將會快取起來以響應下一個客戶而不是銷燬(前提是快取數未達上限)。Threads_created表示建立過的執行緒數，如果發現Threads_created值過大的話，表明MySQL伺服器一直在建立執行緒，這也是比較耗資源，可以適當增加配置檔案中thread_cache_size值，查詢伺服器thread_cache_size配置：
　　mysql> show variables like 'thread_cache_size';
　　+-------------------+-------+
　　| Variable_name | Value |
　　+-------------------+-------+
　　| thread_cache_size | 64 |
　　+-------------------+-------+　　

示例中的伺服器還是挺健康的。

　　七、查詢快取(query cache)
　　mysql> show global status like 'qcache%';
　　+-------------------------+-----------+
　　| Variable_name | Value |
　　+-------------------------+-----------+
　　| Qcache_free_blocks | 22756 |
　　| Qcache_free_memory | 76764704 |
　　| Qcache_hits | 213028692 |
　　| Qcache_inserts | 208894227 |
　　| Qcache_lowmem_prunes | 4010916 |
　　| Qcache_not_cached | 13385031 |
　　| Qcache_queries_in_cache | 43560 |
　　| Qcache_total_blocks | 111212 |
　　+-------------------------+-----------+　　

MySQL查詢快取變數解釋：
　　Qcache_free_blocks：快取中相鄰記憶體塊的個數。數目大說明可能有碎片。FLUSH QUERY CACHE會對快取中的碎片進行整理，從而得到一個空閒塊。
　　Qcache_free_memory：快取中的空閒記憶體。
　　Qcache_hits：每次查詢在快取中命中時就增大
　　Qcache_inserts：每次插入一個查詢時就增大。命中次數除以插入次數就是不中比率。
　　Qcache_lowmem_prunes：快取出現記憶體不足並且必須要進行清理以便為更多查詢提供空間的次數。這個數字最好長時間來看;如果這個數字在不斷增長，就表示可能碎片非常嚴重，或者記憶體很少。(上面的 free_blocks和free_memory可以告訴您屬於哪種情況)
　　Qcache_not_cached：不適合進行快取的查詢的數量，通常是由於這些查詢不是 SELECT 語句或者用了now()之類的函式。
　　Qcache_queries_in_cache：當前快取的查詢(和響應)的數量。
　　Qcache_total_blocks：快取中塊的數量。
　　我們再查詢一下伺服器關於query_cache的配置：
　　mysql> show variables like 'query_cache%';
　　+------------------------------+-----------+
　　| Variable_name | Value |
　　+------------------------------+-----------+
　　| query_cache_limit | 2097152 |
　　| query_cache_min_res_unit | 4096 |
　　| query_cache_size | 203423744 |
　　| query_cache_type | ON |
　　| query_cache_wlock_invalidate | OFF |

+——————————+———–+
　　各欄位的解釋：
　　query_cache_limit：超過此大小的查詢將不快取
　　query_cache_min_res_unit：快取塊的最小大小
　　query_cache_size：查詢快取大小
　　query_cache_type：快取型別，決定快取什麼樣的查詢，示例中表示不快取 select sql_no_cache 查詢
　　query_cache_wlock_invalidate：當有其他客戶端正在對MyISAM表進行寫操作時，如果查詢在query cache中，是否返回cache結果還是等寫操作完成再讀表獲取結果。
　　query_cache_min_res_unit的配置是一柄”雙刃劍”，預設是4KB，設定值大對大資料查詢有好處，但如果你的查詢都是小資料查詢，就容易造成記憶體碎片和浪費。
　　查詢快取碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%
　　如果查詢快取碎片率超過20%，可以用FLUSH QUERY CACHE整理快取碎片，或者試試減小query_cache_min_res_unit，如果你的查詢都是小資料量的話。
　　查詢快取利用率 = (query_cache_size - Qcache_free_memory) / query_cache_size * 100%
　　查詢快取利用率在25%以下的話說明query_cache_size設定的過大，可適當減小;查詢快取利用率在80%以上而且Qcache_lowmem_prunes > 50的話說明query_cache_size可能有點小，要不就是碎片太多。
　　查詢快取命中率 = (Qcache_hits - Qcache_inserts) / Qcache_hits * 100%
　　示例伺服器查詢快取碎片率 = 20.46%，查詢快取利用率 = 62.26%，查詢快取命中率 = 1.94%，命中率很差，可能寫操作比較頻繁吧，而且可能有些碎片。

　　八、排序使用情況
　　mysql> show global status like 'sort%';
　　+-------------------+------------+
　　| Variable_name | Value |
　　+-------------------+------------+
　　| Sort_merge_passes | 29 |
　　| Sort_range | 37432840 |
　　| Sort_rows | 9178691532 |
　　| Sort_scan | 1860569 |
　　+-------------------+------------+　　

Sort_merge_passes 包括兩步。MySQL 首先會嘗試在記憶體中做排序，使用的記憶體大小由系統變數 Sort_buffer_size 決定，如果它的大小不夠把所有的記錄都讀到記憶體中，MySQL 就會把每次在記憶體中排序的結果存到臨時檔案中，等 MySQL 找到所有記錄之後，再把臨時檔案中的記錄做一次排序。這再次排序就會增加 Sort_merge_passes。實際上，MySQL 會用另一個臨時檔案來存再次排序的結果，所以通常會看到 Sort_merge_passes 增加的數值是建臨時檔案數的兩倍。因為用到了臨時檔案，所以速度可能會比較慢，增加 Sort_buffer_size 會減少 Sort_merge_passes 和建立臨時檔案的次數。但盲目的增加 Sort_buffer_size 並不一定能提高速度，見 How fast can you sort data with MySQL?(引自http://qroom.blogspot.com/2007/09/mysql-select-sort.html，貌似被牆) mysql
　　另外，增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值對排序的操作也有一點的好處，參見：http://www.mysqlperformanceblog.com/2007/07/24/what-exactly-is-read_rnd_buffer_size/

比較合適的設定：Open_files / open_files_limit * 100% <= 75%

　　十、表鎖情況
　　mysql> show global status like 'table_locks%';
　　+-----------------------+-----------+
　　| Variable_name | Value |
　　+-----------------------+-----------+
　　| Table_locks_immediate | 490206328 |
　　| Table_locks_waited | 2084912 |
　　+-----------------------+-----------+　　

Table_locks_immediate表示立即釋放表鎖數，Table_locks_waited表示需要等待的表鎖數，如果Table_locks_immediate / Table_locks_waited > 5000，最好採用InnoDB引擎，因為InnoDB是行鎖而MyISAM是表鎖，對於高併發寫入的應用InnoDB效果會好些。示例中的伺服器Table_locks_immediate / Table_locks_waited = 235，MyISAM就足夠了。

　　十一、表掃描情況
　　mysql> show global status like 'handler_read%';
　　+-----------------------+-------------+
　　| Variable_name | Value |
　　+-----------------------+-------------+
　　| Handler_read_first | 5803750 |
　　| Handler_read_key | 6049319850 |
　　| Handler_read_next | 94440908210 |
　　| Handler_read_prev | 34822001724 |
　　| Handler_read_rnd | 405482605 |
　　| Handler_read_rnd_next | 18912877839 |
　　+-----------------------+-------------+　　

各欄位解釋參見http://hi.baidu.com/thinkinginlamp/blog/item/31690cd7c4bc5cdaa144df9c.html，調出伺服器完成的查詢請求次數：
　　mysql> show global status like 'com_select';
　　+---------------+-----------+
　　| Variable_name | Value |
　　+---------------+-----------+
　　| Com_select | 222693559 |
　　+---------------+-----------+　　

計算表掃描率：
　　表掃描率 = Handler_read_rnd_next / Com_select
　　如果表掃描率超過4000，說明進行了太多表掃描，很有可能索引沒有建好，增加read_buffer_size值會有一些好處，但最好不要超過8MB。
　　後記：
　　文中提到一些數字都是參考值，瞭解基本原理就可以，除了MySQL提供的各種status值外，作業系統的一些效能指標也很重要，比如常用的top,iostat等，尤其是iostat，現在的系統瓶頸一般都在磁碟IO上，關於iostat的使用.

分析診斷工具之一：MYSQL效能檢視(多指標）

分析診斷工具之一：MYSQL效能檢視(多指標）

分析診斷工具之二：Explain結果解讀與實踐

實用工具mycli：MySQL、MariaDB 和 Percona 的命令行界面

靜態程式碼分析工具清單：開源篇（各語言）

MYSQL效能檢視（命中率,慢查詢)

效能提升利器：MySQL 5.7多源主從複製的獨特性

阿里重磅開源線上分析診斷工具Arthas(阿爾薩斯)

MySQL詳解（七）：MySQL效能監控

乾貨：MySQL效能優化，in和exists

編程之路：MySql系列之多表查詢

mysql刪庫跑路必會姿勢（基礎篇：MySql架構與儲存引擎）

多執行緒之建立執行緒的方式之一：實現Callable介面（三）

如何高效讀取CSV檔案後進行高效處理？（之一：高效讀取CSV格式檔案）

mysql效能優化（1）慢查詢

使用Jmeter測試MySQL效能——(2)多客戶端配置

七大原則之一：開閉原則（OCP）

詳解：路由器效能的各項指標

Loom工具類：Unity3D巧妙處理多執行緒

Linux時間子系統之一：clock source（時鐘源）這系列文章很不錯!

超詳細：資料庫效能優化（一）

分析診斷工具之一：MYSQL效能檢視(多指標）

相關推薦