1. 程式人生 > >SQL Server索引中的碎片和填充因子

SQL Server索引中的碎片和填充因子

簡介

    在SQL Server中,儲存資料的最小單位是頁,每一頁所能容納的資料為8060位元組.而頁的組織方式是通過B樹結構(表上沒有聚集索引則為堆結構,不在本文討論之列)如下圖:

    BTree

    在聚集索引B樹中,只有葉子節點實際儲存資料,而其他根節點和中間節點僅僅用於存放查詢葉子節點的資料.

    每一個葉子節點為一頁,每頁是不可分割的. 而SQL Server向每個頁記憶體儲資料的最小單位是表的行(Row).當葉子節點中新插入的行或更新的行使得葉子節點無法容納當前更新或者插入的行時,分頁就產生了.在分頁的過程中,就會產生碎片.

理解外部碎片

    首先,理解外部碎片的這個“外”是相對頁面來說的。外部碎片指的是由於分頁而產生的碎片.比如,我想在現有的聚集索引中插入一行,這行正好導致現有的頁空間無法滿足容納新的行。從而導致了分頁:

   1

     因為在SQL SERVER中,新的頁是隨著資料的增長不斷產生的,而聚集索引要求行之間連續,所以很多情況下分頁後和原來的頁在磁碟上並不連續.

     這就是所謂的外部碎片.

     由於分頁會導致資料在頁之間的移動,所以如果插入更新等操作經常需要導致分頁,則會大大提升IO消耗,造成效能下降.

     而對於查詢來說,在有特定搜尋條件,比如where子句有很細的限制或者返回無序結果集時,外部碎片並不會對效能產生影響。但如果要返回掃描聚集索引而查詢連續頁面時,外部碎片就會產生效能上的影響.

     在SQL Server中,比頁更大的單位是區(Extent).一個區可以容納8個頁.區作為磁碟分配的物理單元.所以當頁分割如果跨區後,需要多次切區。需要更多的掃描.因為讀取連續資料時會不能預讀,從而造成額外的

物理讀,增加磁碟IO.

理解內部碎片

    和外部碎片一樣,內部碎片的”內”也是相對頁來說的.下面我們來看一個例子:

    2

    我們建立一個表,這個表每個行由int(4位元組),char(999位元組)和varchar(0位元組組成),所以每行為1003個位元組,則8行佔用空間1003*8=8024位元組加上一些內部開銷,可以容納在一個頁面中:

    3

    當我們隨意更新某行中的col3欄位後,造成頁內無法容納下新的資料,從而造成分頁:

    4

   分頁後的示意圖:

   5

    而當分頁時如果新的頁和當前頁物理上不連續,則還會造成外部碎片

內部碎片和外部碎片對於查詢效能的影響

    外部碎片對於效能的影響上面說過,主要是在於需要進行更多的跨區掃描,從而造成更多的IO操作.

    而內部碎片會造成資料行分佈在更多的頁中,從而加重了掃描的頁樹,也會降低查詢效能.

    下面通過一個例子看一下,我們人為的為剛才那個表插入一些資料造成內部碎片:

    6

    通過檢視碎片,我們發現這時碎片已經達到了一個比較高的程度:

    7

    通過檢視對碎片整理之前和之後的IO,我們可以看出,IO大大下降了:

    8

對於碎片的解決辦法

    基本上所有解決辦法都是基於對索引的重建和整理,只是方式不同

    1.刪除索引並重建

       這種方式並不好.在刪除索引期間,索引不可用.會導致阻塞發生。而對於刪除聚集索引,則會導致對應的非聚集索引重建兩次(刪除時重建,建立時再重建).雖然這種方法並不好,但是對於索引的整理最為有效

    2.使用DROP_EXISTING語句重建索引

       為了避免重建兩次索引,使用DROP_EXISTING語句重建索引,因為這個語句是原子性的,不會導致非聚集索引重建兩次,但同樣的,這種方式也會造成阻塞

    3.如前面文章所示,使用ALTER INDEX REBUILD語句重建索引

       使用這個語句同樣也是重建索引,但是通過動態重建索引而不需要解除安裝並重建索引.是優於前兩種方法的,但依舊會造成阻塞。可以通過ONLINE關鍵字減少鎖,但會造成重建時間加長.

    4.使用ALTER INDEX REORGANIZE

這種方式不會重建索引,也不會生成新的頁,僅僅是整理,當遇到加鎖的頁時跳過,所以不會造成阻塞。但同時,整理效果會差於前三種.

理解填充因子

      重建索引固然可以解決碎片的問題.但是重建索引的代價不僅僅是麻煩,還會造成阻塞。影響使用.而對於資料比較少的情況下,重建索引代價並不大。而當索引本身超過百兆的時候。重建索引的時間將會很讓人蛋疼.

      填充因子的作用正是如此。對於預設值來說,填充因子為0(0和100表示的是一個概念),則表示頁面可以100%使用。所以會遇到前面update或insert時,空間不足導致分頁.通過設定填充因子,可以設定頁面的使用程度:

     9

      下面來看一個例子:

      還是上面那個表.我插入31條資料,則佔4頁:

      10

     通過設定填充因子,頁被設定到了5頁上:

     11

     這時我再插入一頁,不會造成分頁:

     12

     上面的概念可以如下圖來解釋:

     13

      可以看出,使用填充因子會減少更新或者插入時的分頁次數,但由於需要更多的頁,則會對應的損失查詢效能.

如何設定填充因子的值

    如何設定填充因子的值並沒有一個公式或者理念可以準確的設定。使用填充因子雖然可以減少更新或者插入時的分頁,但同時因為需要更多的頁,所以降低了查詢的效能和佔用更多的磁碟空間.如何設定這個值進行trade-off需要根據具體的情況來看.

    具體情況要根據對於表的讀寫比例來看,我這裡給出我認為比較合適的值:

    1.當讀寫比例大於100:1時,不要設定填充因子,100%填充

    2.當寫的次數大於讀的次數時,設定50%-70%填充

    3.當讀寫比例位於兩者之間時80%-90%填充

    上面的資料僅僅是我的看法,具體設定的資料還要根據具體情況進行測試才能找到最優.