1. 程式人生 > >MySQL的limit用法和分頁查詢的性能分析及優化

MySQL的limit用法和分頁查詢的性能分析及優化

中間 復合索引 null sts 含義 設計模式 自然 而不是 mit

申明:本博文轉發於 點擊鏈接跳轉

一、limit用法
在我們使用查詢語句的時候,經常要返回前幾條或者中間某幾行數據,這個時候怎麽辦呢?不用擔心,mysql已經為我們提供了這樣一個功能。

SELECT * FROM table LIMIT [offset,] rows | `rows OFFSET offset `
(LIMIT offset, `length`)
SELECT
*
FROM table
where condition1 = 0
and condition2 = 0
and condition3 = -1
and condition4 = -1
order by id asc
LIMIT 2000 OFFSET 50000


LIMIT 子句可以被用於強制 SELECT 語句返回指定的記錄數。LIMIT 接受一個或兩個數字參數。參數必須是一個整數常量。如果給定兩個參數,第一個參數指定第一個返回記錄行的偏移量,第二個參數指定返回記錄行的最大數目。初始記錄行的偏移量是 0(而不是 1): 為了與 PostgreSQL 兼容,MySQL 也支持句法: LIMIT # OFFSET #。

當offset特別大時,這條語句的執行效率會明顯減低,而且效率是隨著offset的增大而降低的。
原因為:
MySQL並不是跳過offset行,而是取offset+N行,然後返回放棄前offset行,返回N行,當offset特別大,然後單條數據也很大的時候,每次查詢需要獲取的數據就越多,自然就會很慢。

mysql> SELECT * FROM table LIMIT 5,10; // 檢索記錄行 6-15

//為了檢索從某一個偏移量到記錄集的結束所有的記錄行,可以指定第二個參數為 -1:

mysql> SELECT * FROM table LIMIT 95,-1; // 檢索記錄行 96-last.

//如果只給定一個參數,它表示返回最大的記錄行數目:
mysql> SELECT * FROM table LIMIT 5;//檢索前 5 個記錄行
//換句話說,LIMIT n 等價於 LIMIT 0,n。

另外,順便一提:sql 中 limit 與 limit,offset連用的區別

① select * from table limit 2,1;

//含義是跳過2條取出1條數據,limit後面是從第2條開始讀,讀取1條信息,即讀取第3條數據

② select * from table limit 2 offset 1;

//含義是從第1條(不包括)數據開始取出2條數據,limit後面跟的是2條數據,offset後面是從第1條開始讀取,即讀取第2,3條

二、Mysql的分頁查詢語句的性能分析
MySql分頁sql語句,如果和MSSQL的TOP語法相比,那麽MySQL的LIMIT語法要顯得優雅了許多。使用它來分頁是再自然不過的事情了。

(數據量較小的時候)

最基本的分頁方式:

SELECT ... FROM ... WHERE ... ORDER BY ... LIMIT ...

在中小數據量的情況下,這樣的SQL足夠用了,唯一需要註意的問題就是確保使用了索引:
舉例來說,如果實際SQL類似下面語句,那麽在category_id, id兩列上建立復合索引比較好:

SELECT * FROM articles WHERE category_id = 123 ORDER BY id LIMIT 50, 10

(數據量很大,達到萬級或百萬級以上的大數據的時候)

子查詢的分頁方式:

隨著數據量的增加,頁數會越來越多,查看後幾頁的SQL就可能類似:

SELECT * FROM articles WHERE category_id = 123 ORDER BY id LIMIT 10000, 10


一言以蔽之,就是越往後分頁,LIMIT語句的偏移量就會越大,速度也會明顯變慢。
此時,我們可以通過子查詢的方式來提高分頁效率,大致如下:

SELECT * FROM articles WHERE id >=
(SELECT id FROM articles WHERE category_id = 123 ORDER BY id LIMIT 10000, 1) LIMIT 10


JOIN分頁方式

SELECT * FROM `content` AS t1
JOIN (SELECT id FROM `content` ORDER BY id desc LIMIT ".($page-1)*$pagesize.", 1) AS t2
WHERE t1.id <= t2.id ORDER BY t1.id desc LIMIT $pagesize;


經過我的測試,join分頁和子查詢分頁的效率基本在一個等級上,消耗的時間也基本一致。
explain SQL語句:

id select_type table type possible_keys key key_len ref rows Extra
1 PRIMARY <derived2> system NULL NULL NULL NULL 1
1 PRIMARY t1 range PRIMARY PRIMARY 4 NULL 6264 Using where
2 DERIVED content index NULL PRIMARY 4 NULL 27085 Using index


為什麽會這樣呢?因為子查詢是在索引上完成的,而普通的查詢是在數據文件上完成的,通常來說,索引文件要比數據文件小得多,所以操作起來也會更有效率。

實際可以利用類似策略設計模式的方式去處理分頁,比如判斷如果是一百頁以內,就使用最基本的分頁方式,大於一百頁,則使用子查詢的分頁方式。

三、對於有大數據量的mysql表來說,使用LIMIT分頁存在很嚴重的性能問題。
查詢從第1000000之後的30條記錄:

SQL代碼1:平均用時6.6秒 SELECT * FROM `cdb_posts` ORDER BY pid LIMIT 1000000 , 30

SQL代碼2:平均用時0.6秒 SELECT * FROM `cdb_posts` WHERE pid >= (SELECT pid FROM
`cdb_posts` ORDER BY pid LIMIT 1000000 , 1) LIMIT 30

因為要取出所有字段內容,第一種需要跨越大量數據塊並取出,而第二種基本通過直接根據索引字段定位後,才取出相應內容,效率自然大大提升。對limit的優化,不是直接使用limit,而是首先獲取到offset的id,然後直接使用limit size來獲取數據。

可以看出,越往後分頁,LIMIT語句的偏移量就會越大,兩者速度差距也會越明顯。

實際應用中,可以利用類似策略模式的方式去處理分頁,比如判斷如果是一百頁以內,就使用最基本的分頁方式,大於一百頁,則使用子查詢的分頁方式。

優化思想:避免數據量大時掃描過多的記錄

技術分享圖片

為了保證index索引列連續,可以為每個表加一個自增字段,並且加上索引

MySQL的limit用法和分頁查詢的性能分析及優化