mysql進階（二）之細談索引、分頁與慢日誌
阿新 • • 發佈：2017-05-06
連表 組合索引 rar 偏移量 最小值 num glob 要求 for 
索引
1、數據庫索引
數據庫索引是一種數據結構，可以以額外的寫入和存儲空間為代價來提高數據庫表上的數據檢索操作的速度，以維護索引數據結構。索引用於快速定位數據，而無需在每次訪問數據庫表時搜索數據庫表中的每一行。
簡單來說，數據庫索引的本質是數據結構,這種數據結構能夠幫助我們快速的獲取數據庫中的數據。
2、索引種類
- 普通索引：僅加速查詢
- 唯一索引：加速查詢 + 列值唯一（可以有null）
- 主鍵索引：加速查詢 + 列值唯一 + 表中只有一個（不可以有null）
- 組合索引：多列值組成一個索引，
專門用於組合搜索，其效率大於索引合並 - 全文索引：對文本的內容進行分詞，進行搜索
索引合並，使用多個單列索引組合搜索
覆蓋索引，select的數據列只用從索引中就能夠取得，不必讀取數據行，換句話說查詢列要被所建的索引覆蓋
a、普通索引
普通索引可以包括不止一列,一般把多個列組成的普通索引叫組合索引,也有把普通索引看成是只有一列的組合索引的。此外,在索引字符串時,可以只把前幾位作為索引來提升效率。
create table in1( nid int not null auto_increment primary key, name varchar(32) not null, email varchar創表時 + 索引(64) not null, extra text, index ix_name (name) ) --ix_name 索引名
create index index_name on table_name(column_name)添加索引
drop index_name on table_name;刪除索引
show index from table_name;查看索引
ps：對於創建索引時如果是BLOB 和 TEXT 類型，必須指定length。
create index ix_extra onView Codein1(extra(32));
b、唯一索引
唯一索引列中的值必須是唯一的。不過有一個例外,可以有且可以有多個Null。
唯一索引有兩個功能：加速查詢 和 唯一約束（可含null）
create table in1( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, extra text, unique ix_name (name) )創表時 + 唯一索引
create unique index 索引名 on 表名(列名)添加索引
drop unique index 索引名 on 表名刪除索引
c、主鍵索引
主鍵索引必須唯一,不同的是不能有Null。主鍵索引也可以是組合索引,只要組合的每條結果是唯一的
主鍵索引有兩個功能：加速查詢 和 唯一約束（不可含null）
create table in1( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, extra text, index ix_name (name) ) OR create table in1( nid int not null auto_increment, name varchar(32) not null, email varchar(64) not null, extra text, primary key(ni1), index ix_name (name) )創表時 + 主鍵索引
alter table 表名 add primary key(列名);創建主鍵
alter table 表名 drop primary key; alter table 表名 modify 列名 int, drop primary key;刪除主鍵
d、組合索引
組合索引是將n個列組合成一個索引
其應用場景為：頻繁的同時使用n列來進行查詢，如：where n1 = ‘sb‘ and n2 = 666。
create table in3( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, extra text )創建表
create index ix_name_email on in3(name,email);添加組合索引
遵循最左前綴匹配原則：
如上創建組合索引之後，查詢：
- name and email -- 使用索引
- name -- 使用索引
- email -- 不使用索引
註意：對於同時搜索n個條件時，組合索引的性能好於多個單一索引合並。
3、相關命令
-- 查看表結構 desc 表名 -- 查看生成表的SQL show create table 表名 -- 查看索引 show index from 表名 -- 查看執行時間 set profiling = 1; SQL... show profiles;
4、正確使用索引
數據庫表中添加索引後確實會讓查詢速度起飛，但前提必須是正確的使用索引來查詢，如果以錯誤的方式使用，則即使建立索引也會不奏效。
即使建立索引，索引也不會生效：
--like ‘%xx‘ select * from tb1 where name like ‘%cn‘; --使用函數 select * from tb1 where reverse(name) = ‘xiaoming‘; - or select * from tb1 where nid = 1 or email = [email protected]‘; 特別的：當or條件中有未建立索引的列才失效，以下會走索引 select * from tb1 where nid = 1 or name = ‘xiaoming‘; select * from tb1 where nid = 1 or email = ‘8888888@qq.com‘ and name = ‘sb‘ --類型不一致 如果列是字符串類型，傳入條件是必須用引號引起來，不然... select * from tb1 where name = 999; - != select * from tb1 where name != ‘sb‘ 特別的：如果是主鍵，則還是會走索引 select * from tb1 where nid != 123 - > select * from tb1 where name > ‘sb‘ 特別的：如果是主鍵或索引是整數類型，則還是會走索引 select * from tb1 where nid > 123 select * from tb1 where num > 123 -- order by select email from tb1 order by name desc; 當根據索引排序時候，選擇的映射如果不是索引，則不走索引 特別的：如果對主鍵排序，則還是走索引： select * from tb1 order by nid desc; --組合索引最左前綴 如果組合索引為：(name,email) name and email -- 使用索引 name -- 使用索引 email -- 不使用索引
5、其他註意事項
--避免使用select * --count(1)或count(列) 代替 count(*) -- 創建表時盡量時 char 代替 varchar --表的字段順序固定長度的字段優先 --組合索引代替多個單列索引（經常使用多個條件查詢時） -- 盡量使用短索引 如果你的一個字段是Char(32)或者int(32),在創建索引的時候指定前綴長度 比如前10個字符 (前提是多數值是唯一的..)那麽短索引可以提高查詢速度,並且可以減少磁盤的空間,也可以減少I/0操作. -- 使用連接（JOIN）來代替子查詢(Sub-Queries) -- 連表時註意條件類型需一致 -- 索引散列值（重復少）不適合建索引，例：性別不適合 --索引不會包含NULL列,如果列中包含NULL值都將不會被包含在索引中,復合索引中如果有一列含有NULL值那麽這個組合索引都將失效,一般需要給默認值0或者 ‘ ‘字符串
--不要在列上進行運算,這樣會使得mysql索引失效,也會進行全表掃描
limit分頁
在查詢數據庫的時，有時候由於要查詢很大的數據，所以這時候需要分批去取數據庫表中的全部數據來進行處理，最簡單的方法就是使用分頁查詢語句：MySQL的LIMIT語句是滿足這個要求的。
LIMIT 子句可以被用於強制 SELECT 語句返回指定的記錄數。LIMIT 接受一個或兩個數字參數。參數必須是一個整數常量。如果給定兩個參數，第一個參數指定第一個返回記錄行的偏移量，第二個參數指定返回記錄行的最大數目
一般來說我們通過這樣來查詢指定的數據
SELECT * FROM tb1 LIMIT 1000000, 10;
但是現在的數據達到百萬級的，這樣寫會非常的慢，
limit查詢優化
方法一：
通過子查詢的方式來提高分頁效率
select * from tbl where nid > (select nid from tb1 limit 1000000,1) limit 10
沒優化前是直接全表掃描去取數據，現在是只掃描索引表再去取數據。但是優化效果不大，只是快了一些罷了。
方法二：
顯示為“上一頁 5 6 7 8 下一頁”這種類型
--上一頁 select * from tb1 where nid > 當前頁最大值 order by nid asc limit 10 -下一頁 select * from tb1 where nid < 當前頁最小值 order by nid desc limit 10 頁碼跳轉 -- 向前跳轉： select * from tb1 where nid < (select nid from (select nid from tb1 where nid > 當前頁最大值 order by nid asc limit 每頁數據 *【當前頁-頁碼】) as A order by A.nid asc limit 1) order by nid desc limit 10; --向後跳轉 select * from tb1 where nid < (select nid from (select nid from tb1 where nid < 當前頁最小值 order by nid desc limit 每頁數據 *【頁碼-當前頁】) as A order by A.nid asc limit 1) order by nid desc limit 10;
這種的優化效果就顯著很多了。
執行計劃
explain + 查詢SQL - 用於顯示SQL執行信息參數，根據參考信息可以進行SQL優化
mysql> explain select * from tb2; +----+-------------+-------+------+---------------+------+---------+------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+------+---------+------+------+-------+ | 1 | SIMPLE | tb2 | ALL | NULL | NULL | NULL | NULL | 2 | NULL | +----+-------------+-------+------+---------------+------+---------+------+------+-------+ 1 row in set (0.00 sec)
id 查詢順序標識 如：mysql> explain select * from (select nid,name from tb1 where nid < 10) as B; +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ | 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 9 | NULL | | 2 | DERIVED | tb1 | range | PRIMARY | PRIMARY | 8 | NULL | 9 | Using where | +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ 特別的：如果使用union連接氣值可能為null select_type 查詢類型 SIMPLE 簡單查詢 PRIMARY 最外層查詢 SUBQUERY 映射為子查詢 DERIVED 子查詢 UNION 聯合 UNION RESULT 使用聯合的結果 ... table 正在訪問的表名 type 查詢時的訪問方式，性能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const ALL 全表掃描，對於數據表從頭到尾找一遍 select * from tb1; 特別的：如果有limit限制，則找到之後就不在繼續向下掃描 select * from tb1 where email = ‘[email protected]‘ select * from tb1 where email = ‘[email protected]‘ limit 1; 雖然上述兩個語句都會進行全表掃描，第二句使用了limit，則找到一個後就不再繼續掃描。 INDEX 全索引掃描，對索引從頭到尾找一遍 select nid from tb1; RANGE 對索引列進行範圍查找 select * from tb1 where name < ‘alex‘; PS: between and in > >= < <= 操作 註意：!= 和 > 符號 INDEX_MERGE 合並索引，使用多個單列索引搜索 select * from tb1 where name = ‘alex‘ or nid in (11,22,33); REF 根據索引查找一個或多個值 select * from tb1 where name = ‘seven‘; EQ_REF 連接時使用primary key 或 unique類型 select tb2.nid,tb1.name from tb2 left join tb1 on tb2.nid = tb1.nid; CONST 常量 表最多有一個匹配行,因為僅有一行,在這行的列值可被優化器剩余部分認為是常數,const表很快,因為它們只讀取一次。 select nid from tb1 where nid = 2 ; SYSTEM 系統 表僅有一行(=系統表)。這是const聯接類型的一個特例。 select * from (select nid from tb1 where nid = 1) as A; possible_keys 可能使用的索引 key 真實使用的 key_len MySQL中使用索引字節長度 rows mysql估計為了找到所需的行而要讀取的行數 ------ 只是預估值 extra 該列包含MySQL解決查詢的詳細信息 “Using index” 此值表示mysql將使用覆蓋索引，以避免訪問表。不要把覆蓋索引和index訪問類型弄混了。 “Using where” 這意味著mysql服務器將在存儲引擎檢索行後再進行過濾，許多where條件裏涉及索引中的列，當（並且如果）它讀取索引時，就能被存儲引擎檢驗，因此不是所有帶where子句的查詢都會顯示“Using where”。有時“Using where”的出現就是一個暗示：查詢可受益於不同的索引。 “Using temporary” 這意味著mysql在對查詢結果排序時會使用一個臨時表。 “Using filesort” 這意味著mysql會對結果使用一個外部索引排序，而不是按索引次序從表裏讀取行。mysql有兩種文件排序算法，這兩種排序方式都可以在內存或者磁盤上完成，explain不會告訴你mysql將使用哪一種文件排序，也不會告訴你排序會在內存裏還是磁盤上完成。 “Range checked for each record(index map: N)” 這個意味著沒有好用的索引，新的索引將在聯接的每一行上重新估算，N是顯示在possible_keys列中索引的位圖，並且是冗余的。詳細
慢日誌查詢
a、配置MySQL自動記錄慢日誌
slow_query_log = OFF 是否開啟慢日誌記錄
long_query_time = 2 時間限制，超過此時間，則記錄
slow_query_log_file = /usr/slow.log 日誌文件
log_queries_not_using_indexes = OFF 為使用索引的搜索是否記錄
註：查看當前配置信息：
show variables like ‘%query%‘
修改當前配置：
set global 變量名 = 值
b、查看MySQL慢日誌
mysqldumpslow -s at -a /usr/local/var/mysql/MacBook-Pro-3-slow.log
""" --verbose 版本 --debug 調試 --help 幫助 -v 版本 -d 調試模式 -s ORDER 排序方式 what to sort by (al, at, ar, c, l, r, t), ‘at‘ is default al: average lock time ar: average rows sent at: average query time c: count l: lock time r: rows sent t: query time -r 反轉順序，默認文件倒序拍。reverse the sort order (largest last instead of first) -t NUM 顯示前N條just show the top n queries -a 不要將SQL中數字轉換成N，字符串轉換成S。don‘t abstract all numbers to N and strings to ‘S‘ -n NUM abstract numbers with at least n digits within names -g PATTERN 正則匹配；grep: only consider stmts that include this string -h HOSTNAME mysql機器名或者IP；hostname of db server for *-slow.log filename (can be wildcard), default is ‘*‘, i.e. match all -i NAME name of server instance (if using mysql.server startup script) -l 總時間中不減去鎖定時間；don‘t subtract lock time from total time """
mysql進階（二）之細談索引、分頁與慢日誌