1. 程式人生 > >MySql sql優化例項

MySql sql優化例項

記錄一次在工作中遇到sql優化例項:

  mysql優化一直是工作中一個非常普遍的問題,我們工作中會不可避免的遇到需要根據業務去寫一些比較複雜的sql語句,或者更多的呢,是我們在新接手一個專案後,尤其是一些特別老的業務系統,經常會遇到一些查詢非常慢的問題。這時候就需要我們去想辦法來改善我們的查詢方式,來提高我們的查詢效率;

前提:

  目前我基於的儲存引擎為INNODB

  

  我們在開始之前先得理解,

  一、我們mysql中的資料最終是儲存在磁碟上,而記憶體與磁碟之間的互動速度是受限制的,除非物理上提升;所以我們要優化sql查詢的速度,只能從兩個方面入手:

    1、減少io次數

    2、減少i0資料量

  二、我們要理解innodb的索引使用的是B+Tree的資料結構,它的特點是資料是儲存在葉子節點的(MyISAM data節點儲存的是資料記錄的地址,因為innodb是聚集索引,MyISAM是非聚集索引...),盜用一張網圖:

 

 

   主鍵索引:data存放的是資料

   輔助索引:data存放的是主鍵值

 

  我遇到的問題:專案合同稽核列表需要獲取最新稽核記錄對應資訊,需要檢索的資料在3個業務表中

  剛剛接手時,翻了下前人根據當前業務書寫的sql語句:

 1 SELECT
 2             pp.user_center_id,
 3             pp.userCenterId,
 4             pp.provider_id,
 5             pp.name_cn,
 6             pp.id,
 7             pp.contract_name,
 8             pp.begin_date,
 9             pp.end_date,
10             pp.auto_extend,
11             pp.reject_reason,
12             pp.auditing_status,
13             pp.created_time,
14             pp.contract_pdf_path,
15             pp.contract_version
16         FROM
17         (
18             SELECT
19                 p.user_center_id AS user_center_id,
20                 ca.user_center_id AS userCenterId,
21                 c.provider_id AS provider_id,
22                 p.name_cn AS name_cn,
23                 c.id AS id,
24                 c.contract_name AS contract_name,
25                 c.begin_date AS begin_date,
26                 c.end_date AS end_date,
27                 c.auto_extend AS auto_extend,
28                 ca.reject_reason AS reject_reason,
29                 ca.auditing_status AS auditing_status,
30                 ca.created_time AS created_time,
31                 c.contract_pdf_path,
32                 p.agent_type,
33                 p.photographer_type,
34                 c.contract_version
35             FROM
36                 contract c
37             LEFT JOIN provider p ON c.provider_id = p.id
38             LEFT JOIN
39                 (SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
40                 SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
41                 SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)
42                 ) ca ON ca.user_center_id = p.user_center_id
43             WHERE
44                 p.photographer_type = '1'
45                 AND c.contract_version IN ('1', '0','3')
46 ) pp

  執行時間1.849s

  我檢視一下當前語句的執行計劃:EXPLAIN 

 

 

    很完美的語句....

  EXPLAIN我們大體瞭解一下:

    id:執行sql或操作表的順序;id相同,執行順序從上往下;id不同,id值越大,優先順序越高,越先執行;

    select_type:查詢型別;

      1、simple 簡單的select查詢,查詢中不包含子查詢或者union

      2、primary 查詢中若包含任何複雜的子部分,最外層查詢被標記

      3、subquery 在select或where列表中包含了子查詢

      4、derived 在在from列表中包含的子查詢被標記為derived(衍生),MySQL會遞迴執行這些子查詢,把結果放到臨時表中

      5、union 如果第二個select出現在UNION之後,則被標記為UNION,如果union包含在from子句的子查詢中,外層select被標記為derived

      6、union result UNION 的結果

    table:輸出行引用的表

    type:聯結型別,顯示查詢使用了何種型別

      1、system 表中僅有一行記錄(等於系統表),這是const型別的特列,平時不會出現,這個也可以忽略不計

      2、const 表示通過索引一次就找到了,const用於比較primary key 或者unique索引。因為只匹配一行資料,所以很快。如將主鍵置於where列表中,MySQL就能將該查詢轉換為一個常量。

      3、eq_ref 唯一性索引掃描,對於每個索引鍵,表中只有一條記錄與之匹配。常見於唯一索引或者主鍵掃描

      4、ref 非唯一性索引掃描,返回匹配某個單獨值的所有行,本質上也是一種索引訪問,它返回所有匹配某個單獨值的行,可能會找多個符合條件的行,屬於查詢和掃描的混合體

      5、range 只檢索給定範圍的行,使用一個索引來選擇行。key列顯示使用了哪個索引,一般就是where語句中出現了between,in等範圍的查詢。這種範圍掃描索引掃描比全表掃描要好,因為它開始於索引的某一個點,而結束另一個點,不用全表掃描

      6、index 遍歷索引樹

      7、all 遍歷全表匹配

    possible_keys:可能用到的這張表的索引,但實際查詢不一定被用到

    key: 實際使用的索引。如果沒有選擇索引,鍵是NULL。查詢中如果使用覆蓋索引,則該索引和查詢的select欄位重疊;

    key_len:表示索引中使用的位元組數

    ref: 顯示索引的哪一列被使用了

    rows:根據表統計資訊及索引選用情況,大致估算出 找到所需記錄 需要讀取的行數;

    extra:

      1、Using filesort mysql對資料使用了一個外部的索引排序,而不是按照表內的索引順序進行讀取。Mysql中無法利用索引完成的排序操作稱為“檔案排序”。

      2、Using temporary 使用臨時表儲存中間結果,mysql在對查詢結果排序時使用臨時表。常見於排序order by和分組查詢group by。

      3、Using index 表示響應的select操作中使用了索引覆蓋,避免訪問了表的資料行,效率不錯。如果同時出現using where,表明索引被用來執行索引鍵值的查詢;如果沒有同時出現using where,表明索引用來讀取資料而非執行查詢動作。

      4、Using where 表明使用了where過濾

      5、using join buffer 使用了連線快取

      6、impossible where where子句的值總是false,不能用來獲取任何元組

      7、select tables optimized away 在沒有group by子句的情況下,基於索引優化Min、max操作或者對於MyISAM儲存引擎優化count(*),不必等到執行階段再進行計算,查詢執行計劃生成的階段即完成優化;

      8、distinct 優化distinct操作,在找到第一匹配的元組後即停止找同樣值的動作;

  我先把sql語句拆解一下,分析一下:

  1、先來啃這一塊,當前子查詢消耗時間:776ms

   這是幹啥的呢?主要是查詢contract_application表中每個使用者的最新記錄的相關資訊;這裡可以看出多用了好多次子查詢,我們繼續拆解一下:

  a、

SELECT user_center_id,MAX(created_time),reject_reason,auditing_status FROM contract_application GROUP BY user_center_id

   598ms

  

  我們看一下執行計劃:

EXPLAIN SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id

 

  沒有索引,直接全文檢索,我準備給當前表的user_center_id,created_time加個聯合索引,因為當前主要以這兩個欄位做判斷查詢

  

 

   再次執行a步驟的執行計劃,可以看到當前該語句已通過索引樹進行了查詢,耗時從:598ms -> 401ms

 

   

  b、當前子查詢用了多次子查詢,我準備調整一下sql,先來看下當前子查詢的執行計劃:

EXPLAIN SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
                SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
                SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)

 

   調整sql,耗時

SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id
EXPLAIN SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

 

   調整後子查詢從776ms->424ms;

  

  c、這時候我們更新後的語句就變成了 

SELECT
            pp.user_center_id,
            pp.userCenterId,
            pp.provider_id,
            pp.name_cn,
            pp.id,
            pp.contract_name,
            pp.begin_date,
            pp.end_date,
            pp.auto_extend,
            pp.reject_reason,
            pp.auditing_status,
            pp.created_time,
            pp.contract_pdf_path,
            pp.contract_version
        FROM
        (
            SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')
) pp;

 檢視執行計劃

 

 

 可以看到其實該語句外層沒必要再次套一層子查詢了,可以去掉,調整sql

SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')

檢視執行計劃

 

整體耗時從1.849s->1.177s

 

由於業務原因,在不改變業務需求的請求,目前還沒想更加優化的方案,如果有大佬有啥好的建議,可以給點優化建議;非常感謝~

 

 

   

  

const&n