1. 程式人生 > >MySQL 抓取SQL慢查詢語句

MySQL 抓取SQL慢查詢語句

mysql 索引 數據表 sql慢查詢 逗哥自動化

當MySQL服務器出現異常(),首先要考慮是否因,SQL語句引起數據庫慢,如果情況比較緊急,我們就要立刻 SHOW FULL PROCESSLIST; 去查看,但我建議大家使用-e參數,采用非交互的方式,因為這樣可以使用grep等命令,對結果進行過濾,更方便直觀的看到結果


一、抓SQL慢查詢語句的方法,有2種:

1,臨時緊急抓取

通過SHOW FULL PROCESSLIST; 的方式,執行幾次,有相同語句,就可能是SQL慢查詢語句;

SHOW FULL PROCESSLIST; #查看MySQL 在運行的線程

技術分享

這個命令中最關鍵的就是state列,mysql列出的狀態主要有以下幾種:

Checking table   #正在檢查數據表(這是自動的)。 
Closing tables   #正在將表中修改的數據刷新到磁盤中,同時正在關閉已經用完的表。這是一個很快的操作,如果不是這樣的話,就應該確認磁盤空間是否已經滿了或者磁盤是否正處於重負中。 
Connect Out      #復制從服務器正在連接主服務器。 
Copying to tmp table on disk #由於臨時結果集大於 tmp_table_size,正在將臨時表從內存存儲轉為磁盤存儲以此節省內存。 
Creating tmp table #正在創建臨時表以存放部分查詢結果。 
deleting from main table #服務器正在執行多表刪除中的第一部分,剛刪除第一個表。 
deleting from reference tables  #服務器正在執行多表刪除中的第二部分,正在刪除其他表的記錄。 
Flushing tables  #正在執行 FLUSH TABLES,等待其他線程關閉數據表。 
Killed   #發送了一個kill請求給某線程,那麽這個線程將會檢查kill標誌位,同時會放棄下一個kill請求。MySQL會在每次的主循環中檢查kill標誌 
位,不過有些情況下該線程可能會過一小段才能死掉。如果該線程程被其他線程鎖住了,那麽kill請求會在鎖釋放時馬上生效。 
Locked    #被其他查詢鎖住了。 
Sending data  #正在處理 SELECT 查詢的記錄,同時正在把結果發送給客戶端。 
Sorting for group #正在為 GROUP BY 做排序。 
Sorting for order  #正在為 ORDER BY 做排序。 
Opening tables  #這個過程應該會很快,除非受到其他因素的幹擾。例如,在執 ALTER TABLE 或 LOCK TABLE 語句行完以前,數據表無法被其他線程打開。 正嘗試打開一個表。 
Removing duplicates  #正在執行一個 SELECT DISTINCT 方式的查詢,但是MySQL無法在前一個階段優化掉那些重復的記錄。因此,MySQL需要再次去掉重復的記錄,然後再把結果發送給客戶端。 
Reopen table #獲得了對一個表的鎖,但是必須在表結構修改之後才能獲得這個鎖。已經釋放鎖,關閉數據表,正嘗試重新打開數據表。 
Repair by sorting #修復指令正在排序以創建索引。 
Repair with keycache #修復指令正在利用索引緩存一個一個地創建新索引。它會比 Repair by sorting 慢些。 
Searching rows for update  #正在講符合條件的記錄找出來以備更新。它必須在 UPDATE 要修改相關的記錄之前就完成了。 
Sleeping #正在等待客戶端發送新請求. 
System lock #正在等待取得一個外部的系統鎖。如果當前沒有運行多個mysqld服務器同時請求同一個表,那麽可以通過增加 --skip-external-locking參數來禁止外部系統鎖。 
Upgrading lock 
INSERT DELAYED #正在嘗試取得一個鎖表以插入新記錄。 
Updating #正在搜索匹配的記錄,並且修改它們。 
INSERT DELAYED #已經處理完了所有待處理的插入操作,正在等待新的請求。
總結:
一般簡單查詢都應該2秒內完成,如果超時可能就存在異常
另外,上面的狀態 大多數都是出現問題後,為排錯提供,類似錯誤碼;

2,定期分析-記錄慢查詢日誌的方式

我工作中,一般會在配置文件裏,設置3個參數

  • 查詢超2秒

  • 不走索引的查詢

  • 增加慢查詢日誌 ## log文件在my.cnf定義

通過上述3個參數,收集慢查詢日誌,通過寫腳本 ,mysqladmin 進行日誌切割,在使用msyqlsla工具進行分析,然後每天8點 通過定時任務去執行,定期將結果以郵件方式,發送給公司的DBA,或自己,核心開發,抄送CTO

msyqlsla工具地址http://blog.itpub.net/7607759/viewspace-692828

二、我們抓到慢查詢了,如何進行優化?

優化最基本的就是創建索引,如何才能創建合適的索引,所以我們會使用explian命令,加在慢查詢語句的前面,同時我們可以加參數SQL-no-cache \G,看看是不是走索引,註意其中有個key,真正顯示是否走索引的,如果沒有走索引的話,就要進行設置,那如何設置呢???

例如,我們查詢當前系統所有用戶,這個查詢語句啟用的是PRIMARY 主鍵索引(看key)

mysql> explain select  user,host from  mysql.user \G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: user
         type: index
possible_keys: NULL
          key: PRIMARY
      key_len: 228
          ref: NULL
         rows: 6
        Extra: Using index
1 row in set (0.00 sec)

查看表結構(RPI主鍵索引)

mysql> desc mysql.user;
+------------------------+-----------------------------------+------+-----+-----------------------+-------+
| Field                  | Type                              | Null | Key | Default               | Extra |
+------------------------+-----------------------------------+------+-----+-----------------------+-------+
| Host                   | char(60)                          | NO   | PRI |                       |       |
| User                   | char(16)                          | NO   | PRI |                       |       |

三、如何創建索引?

我們可以針對 where 後 的條件 這種列做索引,盡量選唯一值多的大表上的列做索引,(例如男女性別列唯一值少,不是適合建立索引),如果條件列有好幾列,唯一值有很少,我們可以建立聯合索引來達到優化目的, 聯合索引有前綴特性,查詢頻繁的列要放在前面,細節就不在說了,確認如何建立索引後,我們就開始創建索引

1,創建索引有2 種方法:

  • alter

  • create

數據量特別大的情況下,我們盡量選擇數據庫處於低谷或 選擇晚上進行,以免影響站點訪問,緊急情況除外;

四、更高級的優化

還可以使用select profile功能 ,對SQL語句的每一個細節,查看進行優化,這裏我使用也不是很多,一般是公司專業DBA來進行處理。

當然也會遇到特別的長的sql語句,優化的余力也不大,我會sql語句發給核心開發,進行處理,比如1條語句很慢,我可以變為2條,分別走索引,有可能有會很高,也可以用過改善產品,改善架構的方式,例如這條語句沒有優化的余地,我們可以放到內部的從庫上進行查詢;

還有些更高級的,聽老男孩老師介紹:可以添加緩存(NOSQL)、靜態化、異步消息隊列 等等,後續學習繼續。。。。。

Profile優化案例:http://blog.csdn.net/isoleo/article/details/46508669

本文出自 “逗哥筆記” 博客,請務必保留此出處http://qiuyt.blog.51cto.com/1229789/1924958

MySQL 抓取SQL慢查詢語句