2. 程式人生 > >MySQL索引與Index Condition Pushdown(employees示例)

MySQL索引與Index Condition Pushdown(employees示例)

阿新 • • 發佈：2018-12-26

實驗

先從一個簡單的實驗開始直觀認識ICP的作用。

安裝資料庫

首先需要安裝一個支援ICP的MariaDB或MySQL資料庫。我使用的是MariaDB 5.5.34，如果是使用MySQL則需要5.6版本以上。

Mac環境下可以通過brew安裝：

  1. brew install mairadb

其它環境下的安裝請參考MariaDB官網關於下載安裝的文件。

匯入示例資料

與前文一樣，我們使用Employees Sample Database，作為示例資料庫。完整示例資料庫的下載地址為：https://launchpad.net/test-db/employees-db-1/1.0.6/+download/employees_db-full-1.0.6.tar.bz2

。

將下載的壓縮包解壓後，會看到一系列的檔案，其中employees.sql就是匯入資料的命令檔案。執行

  1. mysql -h[host] -u[user] -p < employees.sql

就可以完成建庫、建表和load資料等一系列操作。此時資料庫中會多一個叫做employees的資料庫。庫中的表如下：

  1. MariaDB [employees]> SHOW TABLES;
  2. +---------------------+
  3. | Tables_in_employees |
  4. +---------------------+
  5. | departments |
  6. | dept_emp |
  7. | dept_manager |
  8. | employees |
  9. | salaries |
  10. | titles |
  11. +---------------------+
  12. 6 rows in set (0.00 sec)

我們將使用employees表做實驗。

建立聯合索引

employees表包含僱員的基本資訊，表結構如下：

  1. MariaDB [employees]> DESC employees.employees;
  2. +------------+---------------+------+-----+---------+-------+
  3. | Field | Type | Null | Key | Default | Extra |
  4. +------------+---------------+------+-----+---------+-------+
  5. | emp_no | int(11) | NO | PRI | NULL | |
  6. | birth_date | date | NO | | NULL | |
  7. | first_name | varchar(14) | NO | | NULL | |
  8. | last_name | varchar(16) | NO | | NULL | |
  9. | gender | enum('M','F') | NO | | NULL | |
  10. | hire_date | date | NO | | NULL | |
  11. +------------+---------------+------+-----+---------+-------+
  12. 6 rows in set (0.01 sec)

這個表預設只有一個主索引，因為ICP只能作用於二級索引，所以我們建立一個二級索引：

  1. ALTER TABLE employees.employees ADD INDEX first_name_last_name (first_name, last_name);

這樣就建立了一個first_name和last_name的聯合索引。

查詢

為了明確看到查詢效能，我們啟用profiling並關閉query cache：

  1. SET profiling = 1;
  2. SET query_cache_type = 0;
  3. SET GLOBAL query_cache_size = 0;

然後我們看下面這個查詢：

  1. MariaDB [employees]> SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man';
  2. +--------+------------+------------+-----------+--------+------------+
  3. | emp_no | birth_date | first_name | last_name | gender | hire_date |
  4. +--------+------------+------------+-----------+--------+------------+
  5. | 254642 | 1959-01-17 | Mary | Botman | M | 1989-11-24 |
  6. | 471495 | 1960-09-24 | Mary | Dymetman | M | 1988-06-09 |
  7. | 211941 | 1962-08-11 | Mary | Hofman | M | 1993-12-30 |
  8. | 217707 | 1962-09-05 | Mary | Lichtman | F | 1987-11-20 |
  9. | 486361 | 1957-10-15 | Mary | Oberman | M | 1988-09-06 |
  10. | 457469 | 1959-07-15 | Mary | Weedman | M | 1996-11-21 |
  11. +--------+------------+------------+-----------+--------+------------+

根據MySQL索引的字首匹配原則，兩者對索引的使用是一致的，即只有first_name採用索引，last_name由於使用了模糊字首，沒法使用索引進行匹配。我將查詢聯絡執行三次，結果如下：

  1. +----------+------------+---------------------------------------------------------------------------+
  2. | Query_ID | Duration | Query |
  3. +----------+------------+---------------------------------------------------------------------------+
  4. | 38 | 0.00084400 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  5. | 39 | 0.00071800 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  6. | 40 | 0.00089600 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  7. +----------+------------+---------------------------------------------------------------------------+

然後我們關閉ICP：

  1. SET optimizer_switch='index_condition_pushdown=off';

在執行三次相同的查詢，結果如下：

  1. +----------+------------+---------------------------------------------------------------------------+
  2. | Query_ID | Duration | Query |
  3. +----------+------------+---------------------------------------------------------------------------+
  4. | 42 | 0.00264400 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  5. | 43 | 0.01418900 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  6. | 44 | 0.00234200 | SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man' |
  7. +----------+------------+---------------------------------------------------------------------------+

有意思的事情發生了，關閉ICP後，同樣的查詢，耗時是之前的三倍以上。下面我們用explain看看兩者有什麼區別：

  1. MariaDB [employees]> EXPLAIN SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man';
  2. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-----------------------+
  3. | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
  4. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-----------------------+
  5. | 1 | SIMPLE | employees | ref | first_name_last_name | first_name_last_name | 44 | const | 224 | Using index condition |
  6. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-----------------------+
  7. 1 row in set (0.00 sec)
  1. MariaDB [employees]> EXPLAIN SELECT * FROM employees WHERE first_name='Mary' AND last_name LIKE '%man';
  2. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-------------+
  3. | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
  4. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-------------+
  5. | 1 | SIMPLE | employees | ref | first_name_last_name | first_name_last_name | 44 | const | 224 | Using where |
  6. +------+-------------+-----------+------+----------------------+----------------------+---------+-------+------+-------------+
  7. 1 row in set (0.00 sec)

前者是開啟ICP，後者是關閉ICP。可以看到區別在於Extra，開啟ICP時，用的是Using index condition；關閉ICP時，是Using where。

其中Using index condition就是ICP提高查詢效能的關鍵。下一節說明ICP提高查詢效能的原理。

 

[email protected]:3306.sock [employees]> EXPLAIN format=json SELECT * FROM employees
-> WHERE first_name='Mary' AND last_name LIKE '%man'\G;
*************************** 1. row ***************************
EXPLAIN: {
"query_block": {
"select_id": 1,
"cost_info": {
"query_cost": "268.80"
},
"table": {
"table_name": "employees",
"access_type": "ref",
"possible_keys": [
"first_name_last_name"
],
"key": "first_name_last_name",
"used_key_parts": [
"first_name"
],
"key_length": "58",
"ref": [
"const"
],
"rows_examined_per_scan": 224,
"rows_produced_per_join": 24,
"filtered": "11.11",
"index_condition": "(employees.employees.last_name like '%man')",
"cost_info": {
"read_cost": "224.00",
"eval_cost": "4.98",
"prefix_cost": "268.80",
"data_read_per_join": "3K"
},
"used_columns": [
"emp_no",
"birth_date",
"first_name",
"last_name",
"gender",
"hire_date"
]
}
}
}
1 row in set, 1 warning (0.00 sec)

 

 

原理

ICP的原理簡單說來就是將可以利用索引篩選的where條件在儲存引擎一側進行篩選，而不是將所有index access的結果取出放在server端進行where篩選。

以上面的查詢為例，在沒有ICP時，首先通過索引字首從儲存引擎中讀出224條first_name為Mary的記錄，然後在server段用where篩選last_name的like條件；而啟用ICP後，由於last_name的like篩選可以通過索引欄位進行，那麼儲存引擎內部通過索引與where條件的對比來篩選掉不符合where條件的記錄，這個過程不需要讀出整條記錄，同時只返回給server篩選後的6條記錄，因此提高了查詢效能。

下面通過圖兩種查詢的原理詳細解釋。

關閉ICP

在不支援ICP的系統下，索引僅僅作為data access使用。

開啟ICP

在ICP優化開啟時，在儲存引擎端首先用索引過濾可以過濾的where條件，然後再用索引做data access，被index condition過濾掉的資料不必讀取，也不會返回server端。

注意事項

有幾個關於ICP的事情要注意：

  • ICP只能用於二級索引，不能用於主索引。
  • 也不是全部where條件都可以用ICP篩選，如果某where條件的欄位不在索引中，當然還是要讀取整條記錄做篩選，在這種情況下，仍然要到server端做where篩選。
  • ICP的加速效果取決於在儲存引擎內通過ICP篩選掉的資料的比例。

  • ICP的使用限制

    1 當sql需要全表訪問時,ICP的優化策略可用於range, ref, eq_ref,  ref_or_null 型別的訪問資料方法 。
    2 支援InnoDB和MyISAM表。
    3 ICP只能用於二級索引，不能用於主索引。
    4 並非全部where條件都可以用ICP篩選。
       如果where條件的欄位不在索引列中,還是要讀取整表的記錄到server端做where過濾。
    5 ICP的加速效果取決於在儲存引擎內通過ICP篩選掉的資料的比例。
    6 5.6 版本的不支援分表的ICP 功能，5.7 版本的開始支援。
    7 當sql 使用覆蓋索引時，不支援ICP 優化方法。

參考

[1] https://mariadb.com/kb/en/index-condition-pushdown/

[2] http://dev.mysql.com/doc/refman/5.6/en/index-condition-pushdown-optimization.html

相關推薦

MySQL索引與Index Condition Pushdown(employees示例)

實驗 先從一個簡單的實驗開始直觀認識ICP的作用。 安裝資料庫 首先需要安裝一個支援ICP的MariaDB或MySQL資料庫。我使用的是MariaDB 5.5.34，如果是使用MySQL則需要5.6版本以上。 Mac環境下可以通過brew安裝： brew install mairadb

MySQL索引與Index Condition Pushdown

之前 date like條件 ase ike def html rtm 一個 實驗 先從一個簡單的實驗開始直觀認識ICP的作用。 安裝數據庫 首先需要安裝一個支持ICP的MariaDB或MySQL數據庫。我使用的是MariaDB 5.5.34，如果是使用MySQL則需要5.

淺析MySQL中的Index Condition Pushdown (ICP 索引條件下推)和Multi-Range Read（MRR 索引多範圍查找）查詢優化

修正 itl iad 較高的 一句話 mysql5 條件篩選 global 查詢條件 本文出處：http://www.cnblogs.com/wy123/p/7374078.html（保留出處並非什麽原創作品權利，本人拙作還遠遠達不到，僅僅是為了鏈接到原文，因為後續對

淺析MySQL中的Index Condition Pushdown (ICP 索引條件下推)和Multi-Range Read（MRR 索引多範圍查詢）查詢優化

一、ICP優化原理 Index Condition Pushdown (ICP)，也稱為索引條件下推，體現在執行計劃的上是會出現Using index condition（Extra列，當然Extra列的資訊太多了，只能做簡單分析）ICP原理通俗講就是，查詢過程中，直接在查詢引擎層的API獲取資料的時

MySQL ICP（Index Condition Pushdown）特性

nal 沒有 ray 定義 最終 存儲 null fis varchar 一、SQL的where條件提取規則 在ICP（Index Condition Pushdown，索引條件下推）特性之前，必須先搞明白根據何登成大神總結出一套放置於所有SQL語句而皆準的where查詢條

MySQL 5.6新特性 -- Index Condition Pushdown

部分 isa mysq 支持 分區表 explain int mission iss Index Condition Pushdown(ICP)是針對mysql使用索引從表中檢索行數據時的一種優化方法。 在沒有ICP特性之前，存儲引擎根據索引去基表查找並將數據返回給my

MySQL5.6之Index Condition Pushdown(ICP,索引條件下推)

轉載 :https://blog.csdn.net/z69183787/article/details/53954914 http://mdba.cn/2014/01/21/index-condition-pushdownicp%E7%B4%A2%E5%BC%95%E6%9D%A1%E4%BB%

mysql-索引與優化

是否 這就是 位置 ica 函數 行為 不支持 size 空值 寫在前面：索引對查詢的速度有著至關重要的影響，理解索引也是進行數據庫性能調優的起點。考慮如下情況，假設數據庫中一個表有10^6條記錄，DBMS的頁面大小為4K，並存儲100條記錄。如果沒有索引，查詢將對整個表進

MySQL索引與事務

至少 rom 查找 pack code thead 正在 實驗 編號 MySQL索引與事務 技能目標 理解索引的概念並掌握索引的創建 理解事務的蓋簾並掌握事務的操作 索引的概念及分類 1：索引的概念 索引是一種特殊的文件，包含著對數據表中所有記錄的引用指針 2：索引

Mysql 索引 與 多表查詢效能優化

最近做專案需要用到Luence Whoosh，要定時從資料庫中索引出資料來供檢索，但是在索引中設計多表查詢，速度較慢，因為強迫症，想要做效能優化，因此把Mysql的核心又翻出來研究一遍。 關於MySQL索引的好處，如果正確合理設計並且使用索引的MySQL是一輛蘭博基尼的話，那麼

MySQL索引與優化

概念 索引儲存在記憶體中，為伺服器儲存引擎為了快速找到記錄的一種資料結構。 基本操作 為資料表新增索引： ALTER TABLE table_name ADD INDEX index_name (column_list) //普通索引 ALTER TABLE table_

理解MySQL--索引與優化【轉載】

      注：很好的兩篇文章，原文地址：           第一篇.http://feiyan.info/16.html   &

MySQL——索引與EXPLAIN

前言 本文內容主要參考自《高效能MySQL》第5章以及《MySQL DBA 修煉之道》書中的第三章，算是原書的實踐與補充。 上次主要講了MySQL的基本操作，這次來談談索引與EXPLAIN。 I. 什麼是索引？ 想要深入的學習MySQL相關技術，而不僅僅停留在簡單CURD，能

知識梳理-理解MySQL——索引與優化

寫在前面：索引對查詢的速度有著至關重要的影響，理解索引也是進行資料庫效能調優的起點。考慮如下情況，假設資料庫中一個表有10^6條記錄，DBMS的頁面大小為4K，並存儲100條記錄。如果沒有索引，查詢將對整個表進行掃描，最壞的情況下，如果所有資料頁都不在記憶體，需要讀取10^4個頁面，如果這10^4

MySQL索引擴充套件(Index Extensions)學習總結

mysql> SET optimizer_switch = 'use_index_extensions=on';Query OK, 0 rows affected (0.00 sec)mysql> FLUSH TABLE t1;Query OK, 0 rows affected (0.00 sec

MySQL——索引與優化

http://www.cnblogs.com/hustcat/archive/2009/10/28/1591648.html 寫在前面：索引對查詢的速度有著至關重要的影響，理解索引也是進行資料庫效能調優的起點。考慮如下情況，假設資料庫中一個表有10^6條記錄，DBMS的頁面大小為4K，並存儲100條記錄

MySQL索引（index）專題

    索引（Index）是幫助MySQL高效獲取資料的資料結構，它的存在形式是檔案。索引能夠幫助我們快速定位資料，它可以讓mysql高效執行，大大提高mysql的查詢（包括排序，分組）效率。     Mysql目前主要有以下幾種索引型別（按儲存結構劃分）：FULLTEX

漫談MySQL索引與欄位兒長度的關係

在資料庫開發中，索引是優化查詢效能的重要手段，本文是對使用MySQL 5.6.28進行索引優化時遇到的問題一個總結，目的是為了加深對索引長度和欄位長度的理解，理清這兩個長度的關係，本檔案均使用InnoDB儲存引擎、utf8字符集、索引方法為btree。 在使用MySQL時常

理解MySQL——索引與優化

寫在前面：索引對查詢的速度有著至關重要的影響，理解索引也是進行資料庫效能調優的起點。考慮如下情況，假設資料庫中一個表有10^6條記錄，DBMS的頁面大小為4K，並存儲100條記錄。如果沒有索引，查詢將對整個表進行掃描，最壞的情況下，如果所有資料頁都不在記憶體，需要讀取10^

mysql索引設計的注意事項(大量示例,收藏再看)

mysql索引設計的注意事項(大量示例,收藏再看) 目錄 一、索引的重要性 二、執行計劃上的重要關注點 (1).全表掃描,檢索行數 (2).key,using index(覆蓋索引) (3).通過key_len確定究竟使用了複合索引的幾個索引欄位 (4) order by和Using fil