Mysql（三）---mysql快取

阿新 • • 發佈：2018-11-15

mysql快取

查詢快取優化
結果集快取
排序快取
join 連線快取
表快取Cache 與表結構定義快取Cache
表掃描快取buffer
MyISAM索引快取buffer
日誌快取
預讀機制
延遲表與臨時表

1. 查詢快取

查詢快取不僅將查詢語句結構快取起來，還將查詢結果快取起來。一段時間內，如果是同樣的SQL,則直接從快取中讀取結果，提高查詢資料的效率。但當快取中的資料與硬碟中的資料不一致時，快取就會失效。

mysql> show variables like '%query_cache%' 
;
+------------------------------+---------+
| Variable_name        | Value  |
+------------------------------+---------+
| have_query_cache       | YES   |
| query_cache_limit      | 1048576 |
| query_cache_min_res_unit   | 4096  |
| query_cache_size       | 1048576 |
| query_cache_type       | OFF   | 

| query_cache_wlock_invalidate | OFF   |
+------------------------------+---------+

have_query_cache 是否支援查詢快取。
query_cache_limit 如果某條select語句的結果集大小超過了querycachelimit的值時，這個結果集將不會被新增到查詢快取。
query_cache_min_res_unit 查詢快取是以塊來申請記憶體空間的，每次申請的塊大小為設定值。4K 是非常一個合理的值，不必修改。
query_cache_size 查詢快取的大小。
query_cache_type

查詢快取的型別，值有 0（OFF）、1（ON）、2（DEMOND）。OFF表示查詢快取是關閉的。ON 表示查詢總是先到查詢快取中去查詢，除非在select 語句中包含sql_no_cache選項。 DEMOND 表示不適用快取，除非在select 語句中包含sql_cache選項。
query_cache_wlock_invalidate 該引數用於設定行級排它鎖與查詢快取之間的關係，預設為為0（OFF）,表示施加行級排它所的同時，該表的所有查詢快取依然有效。如果設定為1（ON）,表示事假行級排它鎖的同時，該表的所有查詢快取失效。
檢視查詢快取的命中率

mysql> show status like 'Qcache%';
+-------------------------+---------+
| Variable_name      | Value  |
+-------------------------+---------+
| Qcache_free_blocks   | 1    |
| Qcache_free_memory   | 1031360 |
| Qcache_hits       | 0    |
| Qcache_inserts     | 0    |
| Qcache_lowmem_prunes  | 0    |
| Qcache_not_cached    | 0    |
| Qcache_queries_in_cache | 0    |
| Qcache_total_blocks   | 1    |
+-------------------------+---------+

Qcache_free_blocks
表示查詢快取中處以重現狀態的記憶體塊數（碎片數量）。如果Qcache_free_blocks 的值較大，則意味著查詢快取中碎片比較多，表明查詢結果集較小，此時可以減小query_cache_min_res_unit的值。使用flush query cache 會對快取中的若干個碎片進行整理，從而得到一個比較大的空閒塊。快取碎片率 = Qcache_free_blocks/ Qcache_total_blocks * 100%
Qcache_free_memory
表示當前MySQL服務例項的查詢快取還有多少可用記憶體。
Qcache_hits
表示使用查詢快取的次數，該值會依次增加。如果Qcache_hits比較大，則說明查詢快取使用的非常頻繁，此時需要增加查詢快取。
Qcache_inserts
表示查詢快取中此前總共快取過多少條select 語句的結果集。
Qcache_lowmen_prunes
表示因為查詢快取已滿而溢位，導致MySQL刪除的查詢結果個數。如果該值比較大，則表明查詢快取過小。
Qcache_not_cached
表示沒有進入查詢快取的select個數
Qcache_queryies_in_cache
表示查詢快取中快取這多少條select語句的結果集
Qcache_total_blocks
查詢快取的總個數
快取命中率的計算方式：查詢快取的命中率 = Qcache_hits / Com_select * 100%
其中Com_select為當前MySQL例項執行select 語句的個數。一般情況下Com_select = Qcache_insert + Qcache_not_cached。而 Qcache_not_cached中包含有資料頻繁變化而導致查詢快取失效的select語句，因此命中率一般來說較低。如果拋開失效的因素，查詢快取的命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) 如果使用這種公式計算出查詢快取的命中率比較高的話，這就意味著大部分select語句都命中了查詢快取。

2. 結果集快取

結果集快取是會話快取，MySQL客戶機成功連線伺服器之後。MySQL伺服器會為每個MySQL客戶機保留結果集快取。快取MySQL客戶機連線執行緒的連線資訊以及快取返回MySQL客戶機的結果集資訊,當MySQL客戶機向伺服器傳送select 語句時，MySQL將select語句的執行結果暫存在結果集快取中。結果集的快取大小由 net_buffer_length 引數值定義:

mysql> show variables like 'net_buffer_length';
+-------------------+-------+
| Variable_name   | Value |
+-------------------+-------+
| net_buffer_length | 16384 |
+-------------------+-------+

如果結果集超過net_buffer_length設定的值，則自動擴充容量，但不超過：max_allowd_packet的閾限值：

mysql> show variables like 'max_allowed_packet';
+--------------------+---------+
| Variable_name   | Value  |
+--------------------+---------+
| max_allowed_packet | 4194304 |
+--------------------+---------+

3、排序快取

MySQL 常用的有InnoDB 和MyISAM 兩種資料儲存引擎。因此在優化的時候，每種引擎都會採用適合自己引擎的優化方法。關於MySQL 與InnoDB 表結構檔案和資料日誌檔案的不同。
1、普通排序快取
排序快取是會話快取, 如果客戶機向服務端傳送的SQL語句中含有設計排序的order by 或者group by 子句。MySQL就會選擇相應的排序演算法，在普通排序索引上進行排序，提升排序速度。普通排序索引的大小由sort_buffer_size 引數定義，如果要提升排序的速度，首先應該新增合適的索引，此後則應該增大排序索引快取sort_buffer_size.

mysql> select @@global.sort_buffer_size / 1024;
+----------------------------------+
| @@global.sort_buffer_size / 1024 |
+----------------------------------+
|             256.0000 |
+----------------------------------+
1 row in set (0.00 sec)

接下來我們來看下與排序快取相關的引數有哪些：

mysql> show variables like '%sort%';
+--------------------------------+---------------------+
| Variable_name         | Value        |
+--------------------------------+---------------------+
| innodb_disable_sort_file_cache | OFF         |
| innodb_ft_sort_pll_degree   | 2          |
| innodb_sort_buffer_size    | 1048576       |
| max_length_for_sort_data    | 1024        |
| max_sort_length        | 1024        |
| myisam_max_sort_file_size   | 9223372036853727232 |
| myisam_sort_buffer_size    | 8388608       |
| sort_buffer_size        | 262144       |
+--------------------------------+---------------------+
 
mysql> show status like '%sort%';
+-------------------+-------+
| Variable_name   | Value |
+-------------------+-------+
| Sort_merge_passes | 0   |
| Sort_range    | 0   |
| Sort_rows     | 0   |
| Sort_scan     | 0   |
+-------------------+-------+

max_length_for_sort_data
預設大小為1024位元組，對每一列的進行排序操作是，如果該列的值長度較長，通過增加該引數來提升MySQL效能。
max_sort_length
order by 或者 group by 的時候使用該列的前 max_sort_length位元組進行排序，排序操作完成後，會將此次排序的資訊記錄到本次會話的狀態裡。
Sort_merge_passes
使用臨時檔案完成排序操作的次數。MySQL在進行排序操作時，首先嚐試在普通排序快取中完成排序。如果快取空間不夠用，MySQL將利用快取進行多次排序。並把每次的排序結果存放到臨時檔案中，最後再把臨時檔案中的資料做一次排序。Sort_merge_passes值就是記錄了使用檔案進行排序的次數。由於檔案排序要牽涉到讀檔案，開啟檔案控制代碼，然後關閉檔案等操作。所以讀取檔案的系統消耗比較大，通過增大普通排序快取sort_buffer_size來減少使用臨時檔案排序的次數，從而增加排序的效能。
Sort_range
使用範圍排序的次數
Sort_rows
已經排序的記錄行數
Sort_scan
通過全表掃描完成排序的次數
2、MyISAM排序快取
當我們使用alter table 語句或者create index 語句建立MyISAM表的索引，或者匯入一部分資料使用load data infile path，這些操作都會導致索引被重建，重建索引時需要對索引欄位進行排序操作，為了加快重建索引的效率，MyISAM提供了排序快取用於實現索引的排序工作，這些方法都是儘量是排序的工作在記憶體中完成。MyISAM排序快取的大小由myisam_sort_buffer_size定義。索引重建之後，該快取立馬釋放。
但是當排序的快取超過myisam_sort_buffer_size的閾限時，此時就需要在臨時檔案中完成索引欄位的排序工作，外存臨時檔案的大小由myisam_max_sort_file_size引數設定，索引重建後，臨時檔案立即刪除。

mysql> select @@global.myisam_sort_buffer_size/1024;
+---------------------------------------+
| @@global.myisam_sort_buffer_size/1024 |
+---------------------------------------+
|               8192.0000 |
+---------------------------------------+
 
mysql> select @@global.myisam_max_sort_file_size /1024;
+------------------------------------------+
| @@global.myisam_max_sort_file_size /1024 |
+------------------------------------------+
|          9007199254739967.7734 |
+------------------------------------------+

3、InnoDB 排序快取
和MyISAM引擎類似，當執行alter table 、create index 建立索引是，InnoDB提供了3個InnoDB排序快取用於實現索引的排序，每個快取的大小由innodb_sort_buffer_size定義。

mysql> select @@global.innodb_sort_buffer_size/1024;
+---------------------------------------+
| @@global.innodb_sort_buffer_size/1024 |
+---------------------------------------+
|               1024.0000 |
+---------------------------------------+

4、join 連線快取

join快取是會話快取，如果兩張表相連，但是卻無法使用索引（這時使用join連線快取的前提），MySQL將為每張表分配join 連線快取。

mysql> select @@global.join_buffer_size/1024;
+--------------------------------+
| @@global.join_buffer_size/1024 |
+--------------------------------+
|            256.0000 |
+--------------------------------+

join_buffer_size 定義了連線快取的大小，如上圖，預設為256;

5、表快取Cache 與表結構定義快取Cache

MySQL 服務訪問資料庫中的表時，實際上MySQL是做的檔案的讀取操作。MySQL的資料都是存在硬碟上的一個個檔案，這個和一些記憶體的型的資料庫不同。當我們查詢一張表，使用select 語句時，不考慮使用查詢快取，首先要作業系統開啟該檔案，產生該檔案的描述符。作業系統將檔案描述符交給MySQL,MySQL才能對資料庫進行CURD的操作。開啟檔案、產生檔案描述符都需要消耗系統資源，造成訪問延時。MySQL將已經開啟的檔案，包括檔案描述符快取起來，以後再次訪問該檔案時，就無需開啟該檔案，提高了讀取檔案的效率。
表結構並不經常變化，當對錶進行訪問的時候，除了將該表植入MySQL的表快取外，MySQL還將表結構放入了表結構定義快取中，供下次使用。

mysql> show variables like 'table%';
+----------------------------+-------+
| Variable_name       | Value |
+----------------------------+-------+
| table_definition_cache   | 1400 |
| table_open_cache      | 2000 |
| table_open_cache_instances | 1   |
+----------------------------+-------+
 
mysql> show variables like '%open%';
+----------------------------+----------+
| Variable_name       | Value  |
+----------------------------+----------+
| have_openssl        | DISABLED |
| innodb_open_files     | 2000   |
| open_files_limit      | 65535  |
| table_open_cache      | 2000   |
| table_open_cache_instances | 1    |
+----------------------------+----------+

table_open_cache
設定了可以快取表以及檢視的數量限制
table_definition_cache
設定了可以儲存多少張frm 表結構
對於MySQL MyISAM引擎來說，表結構包含MYI 和MYD 以及表結構frm, 當訪問MyISAM 引擎的時候，需要一次性開啟兩個檔案（MYI 、MYD）,產生兩個檔案描述符。
open_files_limit
開啟檔案的上限
innodb_open_files
如果InnoDB 表使用的是獨立表空間檔案（ibd），該引數設定同一時間能夠開啟的檔案數量。
以下是和開啟表相關的狀態值：

mysql> show status like 'Open%';
+--------------------------+-------+
| Variable_name      | Value |
+--------------------------+-------+
| Open_files        | 18  |
| Open_streams       | 0   |
| Open_table_definitions  | 70  |
| Open_tables       | 63  |
| Opened_files       | 125  |
| Opened_table_definitions | 0   |
| Opened_tables      | 0   |
+--------------------------+-------+

6、表掃描快取buffer

表掃描分為順序掃描（Sequential Scan）以及隨機掃描（Random Scan）兩種方式
順序掃描當MyISAM表沒有建索引時，查詢速度將進行全表掃描，效率很低。為了提升全表掃描的速度，MySQL提供了順序掃描快取（read buffer）。此時MySQL按照儲存資料的儲存順序因此讀出全部的資料塊，每次讀取的資料塊快取在順序掃描快取中，當read buffer寫滿之後，將資料返還給上層呼叫者。
隨機掃描
當表裡有快取，掃描表的時候，會將表的索引欄位放進記憶體裡先拍好序，然後按照已經拍好的順序去硬碟中查詢資料。

7、MyISAM索引快取buffer

通過快取MYI索引檔案的內容，可以加快讀取索引的速度以及索引的速度。索引快取只對MyISAM表起作用，且被所有執行緒共享。查詢語句或者更新索引通過索引訪問表資料的時候，MySQL首先檢查索引快取中是否已經存在需要的索引資訊，如果有通過快取中的索引可以直接訪問到索引對應的MYD檔案。如果沒有，則會讀取MYI檔案，並將相應的索引資料讀取到快取中。索引快取對MyISAM表的訪問效能起到了至關重要的作用。

mysql> show variables like 'key%';
+--------------------------+---------+
| Variable_name      | Value  |
+--------------------------+---------+
| key_buffer_size     | 8388608 (8M)| 
| key_cache_age_threshold | 300   |
| key_cache_block_size   | 1024  |
| key_cache_division_limit | 100   |
+--------------------------+---------+

key_buffer_size
設定索引快取的大小，預設是8M。建議提升。
key_cache_block_size
指定每個索引快取的區塊大小，建議設定為4K,即4096
key_cache_division_limit
為了有效的使用快取。預設情況下MySQL降快取劃分為兩個索引快取區，溫區（warm area）以及熱區（hot area）。key_cache_division_limit引數以百分比的形式向曾哥索引快取劃分為多個區域。當預設值是100的時候，表示索引快取只有溫區，將啟用LRU演算法淘汰索引快取中的索引。
key_cahe_age_threshold
控制溫區域熱區中的索引何時升級何時降級。如果該值小於100，則有熱區。移動演算法大致類似與LRU演算法。
檢視當前MySQL服務例項索引讀以及索引寫的狀態值：

mysql> show status like 'Key%';
+------------------------+-------+
| Variable_name     | Value |
+------------------------+-------+
| Key_blocks_not_flushed | 0   |
| Key_blocks_unused   | 6698 |
| Key_blocks_used    | 0   |
| Key_read_requests   | 0   |
| Key_reads       | 0   |
| Key_write_requests   | 0   |
| Key_writes       | 0   |
+------------------------+-------+

8、日誌快取

日誌快取分為二進位制日誌快取以及InnoDB重做日誌快取
1、二進位制日誌快取

mysql> show variables like '%binlog%cache%';
+----------------------------+----------------------+
| Variable_name       | Value        |
+----------------------------+----------------------+
| binlog_cache_size     | 32768        |
| binlog_stmt_cache_size   | 32768        |
| max_binlog_cache_size   | 18446744073709547520 |
| max_binlog_stmt_cache_size | 18446744073709547520 |
+----------------------------+----------------------+
 
mysql> show status like '%binlog%cache%';
+----------------------------+-------+
| Variable_name       | Value |
+----------------------------+-------+
| Binlog_cache_disk_use   | 0   |
| Binlog_cache_use      | 0   |
| Binlog_stmt_cache_disk_use | 0   |
| Binlog_stmt_cache_use   | 0   |
+----------------------------+-------+

Mysql 進行建立或者更新的資料的時候，會記錄一條二進位制日誌。然而頻繁的進行I/O操作將對MySQL造成較大的效能影響。因此MySQL開闢了一個二進位制日誌快取binlog_cache_size。首先將操作寫入二進位制日誌，當操作成功之後，將二進位制日誌寫入硬碟。
2、InnoDB重做日誌快取
事務在commit前，會將產生的重做日誌寫入InnoDB重做日誌快取，然後InnoDB【擇機】執行輪詢策略，將快取中的重做日誌檔案寫入ib_logfile0 以及ib_logfile1重做日誌中。

mysql> show variables like 'innodb_log_buffer_size';
+------------------------+---------+
| Variable_name     | Value  |
+------------------------+---------+
| innodb_log_buffer_size | 8388608 |
+------------------------+---------+

InnoDB重做日誌快取可以確保事務提交前，事務執行期間產生的重做日誌儲存在InnoDB的日誌快取中，但並不寫入重做日誌檔案中。寫入時機由innodb_flush_log_at_trx_commit引數控制。

mysql> show variables like 'innodb_flush_log%';
+--------------------------------+-------+
| Variable_name         | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout  | 1   |
| innodb_flush_log_at_trx_commit | 1   |
+--------------------------------+-------+

0:當快取中重做日誌檔案以每秒一次的頻率寫入硬碟快取，並且同時會更新到硬碟。
1：在每次事務提交的時候，將快取中重做日誌寫到重做日誌檔案，同時寫入硬碟，預設是該行為。
2:事務提交的時候，寫到快取，但並不觸發檔案系統到硬碟的同步操作，但此外每秒一次同步硬碟。

9、預讀機制

預讀機制主要利用了前文MySQL優化:一、快取優化所描述的原理。即區域性性特徵，空間區域性性，和時間區域性性，這裡不再贅述。
1、InnoDB預讀機制
InnoDB採用預讀機制，將“未來即將訪問的資料”包括索引載入到預讀快取中，進而提升資料的讀效能。InnoDB支援順序預讀（linear read ahead）與隨機預讀（random read ahead）兩種方式。
資料塊（page）是InnoDB硬碟管理的最小單位，一個區由64個連續的資料塊構成，對於順序預讀而言，InnoDB首選將該資料所在資料塊置入InnoDB快取池中，可以預測這些資料塊的後續塊很快就會被訪問，於是這些資料塊以及前置的資料塊會被置入記憶體中。根據innodb_read_ahead_threshold引數設定預讀前後多少個數據塊。

mysql> show variables like 'innodb_read_ahead%';
+-----------------------------+-------+
| Variable_name        | Value |
+-----------------------------+-------+
| innodb_read_ahead_threshold | 56  |
+-----------------------------+-------+

2、索引快取預載入
資料庫管理員可以使用MySQL命令 load index into cache 預載入MyISAM表索引
10、MyISAM表延遲插入

mysql> show variables like '%delayed%';
+----------------------------+-------+
| Variable_name       | Value |
+----------------------------+-------+
| delayed_insert_limit    | 100  |
| delayed_insert_timeout   | 300  |
| delayed_queue_size     | 1000 |
| max_delayed_threads    | 20  |
| max_insert_delayed_threads | 20  |
+----------------------------+-------+

看到這個延遲插入的功能，想起專案裡一個有點類似的功能，啟發了自己的思路。
使用方法為：insert delyed into table values(*);
delyed_insert_limit
預設值為100.當向MySQL表延遲插入100行記錄後，檢查該表是否有select語句在等待執行，如果有，暫停insert語句執行。
delayed_insert_timeout
在超時範圍內，如果delayed 佇列裡沒有資料，延遲插入執行緒將關掉。
delayed_queue_size
延遲插入的佇列長度,超出將阻塞，直到有足夠的空間。
max_delayed_threads
延遲插入的執行緒數。
MyISAM表的批量延遲插入
類似 insert into table values(1),values(2),values(n)。MyISAM將進行批量插入。先將插入的資料放入快取。當快取被寫滿或者提交完畢了，MySQL一次性的將快取中的寫入硬碟。通過批量插入可以大大縮減MySQL客戶機與服務機的連線語法分析等消耗，使得效率比分開執行單個insert語句快的多。

mysql> select @@global.bulk_insert_buffer_size/(1024*1024);
+----------------------------------------------+
| @@global.bulk_insert_buffer_size/(1024*1024) |
+----------------------------------------------+
|                    8.0000 |
+----------------------------------------------+

預設批量插入的大小為8M。如果業務上有需要，可以設定的大一些，以提高批量插入的效能。
MyISAM表的索引延遲更新
索引可以加快資料檢索，但是對於更新來說，不僅需要修改記錄，可能還需要修改索引，因此索引會導致資料更新操作變慢，如果將MySQL的delay_key_write引數設定為1（ON）,可以彌補這一缺陷。開啟後更新操作修改資料的時候先將資料的更新提交到硬碟，索引的更新全部在索引快取裡完成。在關閉表的時候，一起更新到硬碟，這樣就可以使索引更新的更快。僅對MyISAM有效。

mysql> show variables like 'delay_key_write';
+-----------------+-------+
| Variable_name  | Value |
+-----------------+-------+
| delay_key_write | ON  |
+-----------------+-------+

InnoDB延遲更新
非聚簇索引的更新操作通常會帶來隨機I/O，降低InoDB的效能。當更新（insert, delete ，update=insert+delete）非聚簇索引的資料時，會先檢查非聚簇索引頁是否位於InnoDB快取池中，如果是直接更新，否則先將“資訊修改”記錄在更新快取中（change buffer）

總結

本章篇幅過大，一次性不好消化，我也是做個記錄，以便後面有需要優化的時候在來查閱，主要就是記住mysql快取的型別，可以優化的點，歸根階段mysql還是個基於檔案的儲存系統，對檔案的OPEN READ,等操作大部分可以放到快取來做，同時對於查詢結果的快取，幾乎會話的快取和全域性快取，以及mysql 的日誌快取

Mysql（三）---mysql快取

mysql快取

1. 查詢快取

2. 結果集快取

3、排序快取

4、join 連線快取

5、表快取Cache 與表結構定義快取Cache

6、表掃描快取buffer

7、MyISAM索引快取buffer

8、日誌快取

9、預讀機制

總結

Mysql（三）---mysql快取

mysql篇---mysql（三）

MySQL（三）

CentOS7 +vsftpd+mysql （三）之 MySql 虛用戶模式

初識Mysql（三）

MySQL（三）DQL之基礎查詢

Python學習：Mysql（三）索引

（三）mysql主主複製搭建

MySQL（三）索引----BTREE 索引與 HASH 索引

（三）mysql SQL 基本操作

MySQL（三）--------常用函式

MySQL資料庫優化（三）——MySQL悲觀鎖&&樂觀鎖（併發控制）

mysql（三）：mysql查詢語句和多表關聯查詢以及子查詢

MySQL學習（三）MySQL鎖與事務

Wiki系統搭建（三）——MYSQL

MySQL（三）INSERT 插入記錄和SELECT查詢

MySQL資料庫詳解（三）MySQL的事務隔離剖析

Mysql系列（三）—— Mysql字符集和比較規則

Mysql （四）Mysql安裝與使用

MySQL（二）MySQL的安裝和簡單使用

Mysql（三）---mysql快取

mysql快取

1. 查詢快取

2. 結果集快取

3、排序快取

4、join 連線快取

5、表快取Cache 與表結構定義快取Cache

6、表掃描快取buffer

7、MyISAM索引快取buffer

8、日誌快取

9、預讀機制

總結

相關推薦