《Pro SQL Server Internals, 2nd edition》CHAPTER 3 Statistics翻譯節選
本文選自
作者: Dmitri Korotkevitch
出版社: Apress
出版年: 2016-12-29
頁數: 804
作者簡介：Dmitri Korotkevitchis是微軟SQL Server MVP和微軟認證大師。作為應用程式和資料庫開發人員、資料庫管理員和資料庫架構師，他具有多年使用
原文連結：http://www.doc88.com/p-4042504089228.html
SQL Server統計資訊簡介
SQL Server統計資訊是系統物件，其中包含有關索引鍵值中的資料分佈的資訊，有時還包含常規列值。 可以在支援比較操作的任何資料型別上建立統計資訊，例如>，<，=等。
讓我們從上一章清單2-15中建立的dbo.Books表中檢查IDX_BOOKS_ISBN索引統計資訊。
圖3-1 DBCC SHOW_STATISTICS輸出
如你所見，DBCC SHOW_STATISTICS命令返回三個結果集。第一個包含有關統計資訊的常規元資料資訊，例如名稱，更新日期，更新統計資訊時索引中的行數等。第一個結果集中的“步驟”列指示直方圖中的步數/值的數量（稍後將詳細介紹）。“查詢優化程式”不使用“密度”值，僅出於向後相容性目的而顯示。
第二個結果集稱為密度向量，它包含有關統計（索引）中鍵值組合的密度的資訊。它是基於
最後的結果集稱為直方圖。直方圖中的每個記錄（稱為直方圖步驟）都包括統計資訊（索引）最左列中的樣本鍵值以及有關從前一個值到當前RANGE_HI_KEY值的值範圍內的資料分佈的資訊。讓我們更深入地檢查直方圖列。
RANGE_HI_KEY列儲存金鑰的樣本值。 此值是直方圖步驟定義的範圍的上限鍵值。 例如，圖3-1中直方圖中的記錄（步驟）＃3與RANGE_HI_KEY ='104-0100002488'儲存有關從ISBN>'101-0100001796'到ISBN <='104-0100002488'的間隔的資訊。
RANGE_ROWS列估計間隔內的行數。 在我們的例子中，記錄（步驟）＃3定義的間隔有8,191行。
EQ_ROWS表示有多少行的鍵值等於RANGE_HI_KEY上限值。 在我們的例子中，只有一行ISBN ='104-0100002488'。
DISTINCT_RANGE_ROWS表示金鑰的不同值。在這段時間內。在我們的示例中，鍵的所有值都是唯一的，因此DISTINCT_RANGE_ROWS = RANGE_ROWS。AVG_RANGE_ROWS表示每個不同鍵的平均行數區間中的值。在我們的例子中，鍵的所有值都是唯一的，所以AVG_RANGE_ROWS = 1。讓我們在索引中插入一組重複的ISBN值，程式碼如清單3-1所示。
清單3-1 將重複的ISBN值插入索引中。
;with Prefix(Prefix)
as ( select Num from (values(104),(104),(104),(104),(104)) Num(Num) )
,Postfix(Postfix)
as
(
select 100000001
union all
select Postfix + 1 from Postfix where Postfix < 100002500
)
insert into dbo.Books(ISBN, Title)
select
convert(char(3), Prefix) + '-0' + convert(char(9),Postfix)
,'Title for ISBN' + convert(char(3), Prefix) + '-0' + convert(char(9),Postfix)
from Prefix cross join Postfix
option (maxrecursion 0);
——更新統計資料
更新統計dbo.Books IDX_Books_ISBN與全掃描;
現在，如果再次執行DBCC SHOW_STATISTICS（'dbo.Books'，IDX_BOOKS_ISBN）命令，你將看到如圖3-2所示的結果。
圖3-2 DBCC SHOW_STATISTICS輸出
具有字首104的ISBN值現在具有重複項，這會影響直方圖。 還值得一提的是，第二個結果集中的密度資訊也發生了變化。具有重複值的ISBN s的密度高於（ISBN，BookId）列的組合，這仍然是唯一的。
讓我們執行SELECT BOOKID，標題FROM dbo.Books WHERE ISBN LIKE“114％”語句，並檢查執行計劃，如圖3-3所示。
圖3-3 查詢的執行計劃
大多數執行計劃操作員都有兩個重要的屬性。 實際行數表示在執行者執行期間處理了多少行。 估計行數表示SQL Server在查詢優化階段為該運算子估計的行數。 在我們的例子中，SQL Server估計有2,625行，其中ISBN以114開頭。如果你檢視圖3-2中所示的直方圖，你將看到步驟10儲存有關ISBN間隔的資料分佈的資訊，包括 你正在選擇的值。 即使使用線性近似，你也可以估計接近SQL Server確定的行數。
關於統計資料，有兩件非常重要的事情需要記住。
1.直方圖僅儲存有關最左側統計（索引）列的資料分佈的資訊。 有關統計中關鍵值的多列密度的資訊，但就是直方圖中的所有其他資訊僅與最左邊的統計列的資料分佈有關。
2.無論表的大小和表是否已分割槽，SQL Server在直方圖中最多保留200個步驟。 每個直方圖步驟所覆蓋的間隔隨著表的增長而增加。 這導致在大表格的情況下不太準確的統計資料。
對於複合索引，當索引中的所有列都用作所有查詢中的謂詞時，將具有較低密度/較高百分比的唯一值的列定義為索引的最左列是有益的。 這將允許SQL Server更好地利用統計資訊中的資料分佈資訊。 但是，你應該考慮謂詞的SARGability。 例如，如果所有查詢都在where子句中使用FirstName = @ FirstName和LastName = @ LastName謂詞，則最好將LastName作為索引中最左側的列。 儘管如此，對於FirstName = @ FirstName和LastName <> @ LastName之類的謂詞不是這種情況，其中LastName不是SARGable。
統計和執行計劃
sql伺服器預設自動建立和更新統計資料。資料庫中有兩個選項控制此類行為的級別：
1、自動建立統計控制是否優化程式自動建立列級統計。這個選項不會產生影響，因為索引級統計始終會建立。預設情況下會啟用自動建立統計資料庫選項。
2、啟用自動更新統計資料庫選項時，sql伺服器每次編譯或執行查詢時都會檢查統計資料是否過時，並在需要時更新統計資料。預設情況下也會啟用自動更新統計資料庫選項。
提示：你可以通過使用統計計算（STATISTICS_NORECOMPUTE）索引選項來控制索引級別上的統計資料的自動更新行為。預設情況下，此選項將被關閉，意思就是說統計資料預設自動更新。在索引或表級別上改變自動更新行為的另一種方法是使用sp_autostats系統儲存過程。
sql伺服器根據插入、更新、刪除和合並語句執行的影響統計列的更改次數確定統計是否過時。sql伺服器計算統計列被更改的次數，而不是更改行的數目。例如，如果你將同一行更改100次，它將被算作100次更改，而不是1次更改。
有三種不同的方案，稱為統計更新閾值，有時也稱為統計重新編譯閾值，其中sql伺服器將統計標記為過時。
1、當表為空時，當你將資料新增到表中時，sql伺服器將超出統計資料。
2、當表的行少於500行時，每500次統計列的更改，sql伺服器就會超出統計資料。
3、2016版sql伺服器和之前的版本，具有資料庫相容性級別小於130.如果表中有500行或更多行，則在統計列每500+(佔表中行總數的20%)發生變化後，sql伺服器就會超出統計資料。
4、2016版sql伺服器資料庫相容性級別等於130.大量表的統計資料更新閾值變成動態，而且取決於表的大小。表的行越多，閾值越低。在上百萬行甚至數十億行的大量表格中，統計更新閾值只能是表中行總數百分比的一小部分。此特徵也可以在sql伺服器2008R2 SP1及更高版本中啟用跟蹤標誌T2371。
表3-1總結了不同版本的sql伺服器的統計更新閾值行為。
這使我們得出一個非常重要的結論。
使用靜態統計更新閾值，觸發統計更新所需的統計列的更改數與表大小成正比。表格越大，自動更新的統計資料就越少。例如，在有10億行的表的情況下，你需要對統計列執行約2億項更改使統計資料過時。如果可以的話建議使用動態更新閾值。
讓我們看看這種行為是如何影響我們的系統和執行計劃的。在這一點上，該表dbo.Books有1265000行。我們把250，000行加上字首999，如表3-5.在此示例中，我使用的是sql伺服器2012，未啟用T2371。如果啟用動態統計更新閾值就可以看到不同的結果。此外，在sql伺服器2014中引入的新的基數估計器也可以改變行為。我們會在後面章節中進行討論。
我們執行SELECT * FROM dbo.Books WHERE ISBN LIKE '999%' 語句，它可以選擇帶有此字首的所有行。
如果檢查查詢的執行計劃，如圖3-7所示，你將看到非叢集索引查詢和鍵查詢操作。
你還會在圖3-7中注意到索引查詢運算子的估計行數和實際行數之間存在巨大差異。sql伺服器估計表中只有31.4行帶有字首999，實際有25萬行帶有這樣的字首。這就產生了一個非常低效的計劃。
接下來，通過DBCC執行命令 SHOW_STATISTICS ('dbo.Books', IDX_BOOKS_ISBN) 看看 IDX_BOOKS_ISBN統計。輸出如圖3-8所示。如你所見，即使我們在表格中插入了25萬行，統計資料也沒有更新，而且直方圖中沒有關於999字首的資料。第一個結果集中的行數相對應上一個統計期間表中的行數更新。它不包括剛剛插入的250,000行。
通過語句UPDATE STATISTICS dbo.Books IDX_Books_ISBN WITH FULLSCAN更新統計，然後重新執行 SELECT * FROM dbo.Books WHERE ISBN LIKE '999%' 語句。執行計劃如3-9.現在估計的行數是正確的，而sql伺服器最終採用了更高效的執行計劃，使用的是叢集索引掃描，比以前減少了大約17倍的輸入/輸出讀取量。
如你所見，不正確的基數估計會導致執行計劃效率低下。過時的統計資料也會是造成基數估計錯誤的最常見原因之一。你可以通過檢查執行計劃中的估計行和實際行數來確定其中的一些情況。這兩個數值之間的巨大差異往往表明統計數字不正確。更新統計可以解決這個問題，產生更有效率的執行計劃。
統計維護
正如我已經提到的，SQL Server預設自動更新統計資訊。對於小表，這種行為通常是可以接受的;但是，對於具有數百萬或數十億行的大型表，你不應該依賴自動統計資訊更新，除非你使用的SQL Server 2016的資料庫相容級別為130或啟用了跟蹤標誌T2371。按20％統計資訊更新閾值觸發統計資訊更新所需的更改次數將非常高，因此，不會經常觸發更新。
在這種情況下，建議你手動更新統計資訊。在選擇最佳統計維護策略時，你必須分析表的大小，資料修改模式和系統可用性。例如，如果系統在工作時間之外沒有負載，你可以決定每晚更新關鍵表的統計資訊。不要忘記統計資訊和/或索引維護會為SQL Server增加額外的負載。 你必須分析它如何影響同一伺服器和/或磁碟陣列上的其他資料庫。
設計統計維護策略時需要考慮的另一個重要因素是如何修改資料。對於具有不斷增加或減少的鍵值的索引，你需要更頻繁地更新統計資訊，例如當索引中最左側的列定義為標識或使用序列物件填充時。如你所見，如果特定鍵值超出直方圖，SQL Server會大大低估行數。 在SQL Server 2014到2016中，此行為可能會有所不同，我們將在本章後面部分中看到。
你可以使用UPDATE STATISTICS命令更新統計資訊。 當SQL Server更新統計資訊時，它會讀取資料樣本而不是掃描整個索引。 你可以使用FULLSCAN選項更改該行為，該選項強制SQL Server讀取和分析索引中的所有資料。 正如你可能猜到的那樣，該選項提供了最準確的結果，儘管它可能會引入大量的I / O活動大表的情況。
提示：重建索引時，SQL Server會更新統計資訊。 我們將在第6章“索引碎片化”中更詳細地討論索引維護。
你可以使用sp_updatestats系統儲存過程更新資料庫中的所有統計資訊。 建議你使用此儲存過程並在將其升級到新版本的SQL Server後更新資料庫中的所有統計資訊。 你應該與DBCC UPDATEUSAGE儲存過程一起執行它，它會更正目錄檢視中不正確的頁面和行計數資訊。
有一個sys.dm_db_stats_properties DMV，它顯示自上次統計資訊更新以來對統計資訊列所做的修改次數。 利用該DMV的程式碼如清單3-9所示。
清單3-9 使用sys.dm_db_stats_properties
select
s.stats_id as [Stat ID], sc.name + '.' + t.name as [Table], s.name as [Statistics] ,p.last_updated, p.rows, p.rows_sampled, p.modification_counter as [Mod Count]
from sys.stats s join sys.tables t on s.object_id = t.object_id join sys.schemas sc on
t.schema_id = sc.schema_id outer apply sys.dm_db_stats_properties(t.object_id,s.stats_id) p
where
sc.name = 'dbo' and t.name = 'Books';
查詢結果如圖3-11所示，表明自上次統計資訊更新以來，對統計資訊列進行了250,000次修改。 你可以構建統計資訊維護例程，定期檢查sys.dm_db_stats_properties DMV並使用較大的modification_counter值重建統計資訊。
圖3-11 Sys.dm_db_stats_properties outp
另一個與統計相關的資料庫選項是非同步自動更新統計資訊。 預設情況下，當SQL Server檢測到統計資訊已過時時，它會暫停查詢執行，同步更新統計資訊，並在統計資訊更新完成後生成新的執行計劃。 通過非同步統計資訊更新，SQL Server使用舊的執行計劃執行查詢，該計劃基於過時的統計資訊，同時非同步更新後臺統計資訊。 建議你繼續使用同步統計資訊更新除非系統具有非常短的查詢超時，在這種情況下，同步統計資訊更新可以使查詢超時。
最後，SQL Server不會在你建立新索引時自動刪除列級統計資訊。你應該手動刪除冗餘的列級統計資訊物件。
新基數估算器（SQL Server 2014-2016）
如你所知，查詢優化的質量取決於準確的基數。SQL Server必須正確估計查詢執行的每個步驟中的行數，以便生成有效的執行計劃。最初使用SQL Server 2005-2012中使用的基數估算模型為SQL Server 7.0開發並於1998年釋出。顯然，在較新版本的SQL Server中有一些小的改進和更改; 然而，從概念上講，模型保持不變。
模型中使用了四個主要假設，包括：
均勻性：該模型假設在沒有統計資訊的情況下統一資料分佈。例如，在直方圖內部步驟中，假設所有鍵值均勻且均勻地分佈。
獨立性：此模型假設實體中的屬性彼此獨立。例如，當查詢針對同一個表的不同列有多個謂詞時，它會假定列不以任何方式相關。
簡單包含：此模型假定使用者查詢表中存在的資料。例如，當你連線兩個表時，如果沒有統計資訊，模型會假定一個表中的所有不同值都存在於另一個表中。此模型中連線運算子的選擇性基於連線謂詞的選擇性。
包含：此模型假定當將屬性與常量進行比較時，始終存在匹配。