SQL Server 變更資料捕獲（CDC）監控表資料
一.本文所涉及的內容（Contents）
二.背景（Contexts）
在SQL Server 2008版本之前，對錶資料庫的變更監控，我們通常使用DML觸發器進行監控，把DML操作中的INSERT/UPDATE/DELETE資料記錄下來，但是觸發器的維護比較困難；
當SQL Server 2008新功能：變更資料捕獲（Change Data Capture，即CDC）出來之後，我發現這正是我想要的，因為我之前使用DML觸發器實現的時候也是把UPDATE操作按照兩條記錄進行記錄的，共同的缺點都是在使用者修改了表結構後，CDC不會自動同步到記錄中，不過CDC也有DDL的監控可以補充這個缺陷；CDC的優點就是以非同步程序讀取事務日誌進行捕獲資料變更的。
三.實現過程（Realization）
(一) 建立一個測試資料庫；
/******* Step1:建立示例資料庫*******/ USE master GO IF EXISTS(SELECT name FROM sys.databases WHERE name = 'CDC_DB') DROP DATABASE CDC_DB GO CREATE DATABASE CDC_DB GO
(二) 在開啟資料庫的CDC之前先查詢一下狀態，is_cdc_enabled值為0表示沒有開啟，1表示開啟，當為資料庫[CDC_DB]啟用了CDC之後，在CDC_DB系統表中會出現下圖Figure2所示的6個表；
/******* Step2:開啟資料庫CDC *******/ --檢視資料庫是否啟用CDC SELECT name,is_cdc_enabled FROM sys.databases WHERE name = 'CDC_DB' --啟用資料庫CDC USE CDC_DB GO EXECUTE sys.sp_cdc_enable_db; GO --檢查啟用是否成功 SELECT is_cdc_enabled,CASE WHEN is_cdc_enabled=0 THEN 'CDC功能禁用' ELSE 'CDC功能啟用' END 描述 FROM sys.databasesWHERE NAME = 'CDC_DB'
（Figure1：資料庫CDC狀態）
（Figure2：啟用資料庫CDC建立的系統表）
（Figure3：資料庫CDC狀態）
（Figure4：新增新使用者和架構）
開啟資料庫的CDC之後，分別在使用者和架構上建立新的使用者cdc，新的架構cdc；
(三) 建立一個測試表，對錶行變更啟用捕獲，為表[Department]啟用CDC，首先會在系統表中建立[cdc].[dbo_Department_CT]，會在Agent中建立兩個作業，cdc.CDC_DB_capture和cdc.CDC_DB_cleanup，啟用表變更捕獲需要開啟SQL Server Agent服務，不然會報錯。每對一個表啟用捕獲就會生成一個向對應的記錄表。
/******* Step3:對錶啟用變更捕獲*******/ --建立測試表 USE CDC_DB GO CREATE TABLE [dbo].[Department]( [DepartmentID] [smallint] IDENTITY(1,1) NOT NULL, [Name] [nvarchar](200) NULL, [GroupName] [nvarchar](50) NOT NULL, [ModifiedDate] [datetime] NOT NULL, [AddName] [nvarchar](120) NULL, CONSTRAINT [PK_Department_DepartmentID] PRIMARY KEY CLUSTERED ( [DepartmentID] ASC ) ON [PRIMARY] ) ON [PRIMARY] GO --對錶啟用捕獲 EXEC sys.sp_cdc_enable_table @source_schema= 'dbo', @source_name = 'Department', @role_name = N'cdc_Admin', @capture_instance = DEFAULT, @supports_net_changes = 1, @index_name = NULL, @captured_column_list = NULL, @filegroup_name = DEFAULT --檢查是否成功 SELECT name, is_tracked_by_cdc , CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用' ELSE 'CDC功能啟用' END 描述 FROM sys.tables WHERE OBJECT_ID= OBJECT_ID('dbo.Department') --返回某個表的變更捕獲配置資訊 EXEC sys.sp_cdc_help_change_data_capture 'dbo', 'Department'
（Figure5：提示資訊）
（Figure6：新增加的系統表）
（Figure7：生成的捕獲和清理作業）
（Figure8：表的CDC狀態）
（Figure9：多了個數據庫角色）
（Figure10：sys.sp_cdc_enable_table配置選項）
上圖深色部分的欄位值是在執行sys.sp_cdc_enable_table的時候設定的。
(四) 測試插入資料、更新資料、刪除資料，執行完這些DML，我們來觀察下cdc.dbo_Department_CT幫我們記錄些什麼？
/******* Step4:測試DML變更捕獲*******/ --測試插入資料 INSERT INTO dbo.Department( Name , GroupName , ModifiedDate )VALUES('Marketing','Sales and Marketing',GETDATE()) --測試更新資料 UPDATE dbo.Department SET Name = 'Marketing Group',ModifiedDate = GETDATE() WHERE Name = 'Marketing' --測試刪除資料 DELETE FROM dbo.Department WHERE Name='Marketing Group' --查詢捕獲資料 SELECT * FROM cdc.dbo_Department_CT
（Figure11：變更記錄表）
對於insert/delete操作，會有對應的一行記錄，而對於update，會有兩行記錄。__$operation列：1 = 刪除、2= 插入、3= 更新（舊值）、4= 更新（新值）；
(五) 啟用CDC之後，你怎麼從中獲取到資料呢？通過資料我們可以對資料進行恢復；
/******* Step6:使用LSN 檢視CDC記錄*******/ --http://msdn.microsoft.com/zh-cn/library/bb500137%28v=sql.100%29.aspx SELECT sys.fn_cdc_map_time_to_lsn ('smallest greater than or equal', '2013-07-24 09:00:30') AS BeginLSN SELECT sys.fn_cdc_map_time_to_lsn ('largest less than or equal', '2013-07-24 23:59:59') AS EndLSN /******* 檢視某時間段所有CDC記錄*******/ DECLARE @FromLSN binary(10) = sys.fn_cdc_map_time_to_lsn ('smallest greater than or equal' , '2013-06-23 09:00:30') DECLARE @ToLSN binary(10) = sys.fn_cdc_map_time_to_lsn ('largest less than or equal' , '2013-07-26 23:59:59') SELECT CASE [__$operation] WHEN 1 THEN 'DELETE' WHEN 2 THEN 'INSERT' WHEN 3 THEN 'Before UPDATE' WHEN 4 THEN 'After UPDATE' END Operation,[__$operation],[__$update_mask],DepartmentId,Name,GroupName,ModifiedDate,AddName FROM [cdc].[fn_cdc_get_all_changes_dbo_Department] (@FromLSN, @ToLSN, N'all update old') /* all 其中的update，只包含新值 all update old 包含新值和舊值 */
（Figure15：通過時間獲取LSN更新）
(六) CDC的維護
/******* Step5:維護CDC *******/ --返回所有表的變更捕獲配置資訊 EXECUTE sys.sp_cdc_help_change_data_capture; --返回某個表的變更捕獲配置資訊 EXEC sys.sp_cdc_help_change_data_capture 'dbo', 'Department' --檢視對某個表的哪些列做了捕獲監控,使用上面返回的capture_instance列值 EXEC sys.sp_cdc_get_captured_columns @capture_instance = 'dbo_Department'
（Figure12：監控表字段資訊）
由於sys.sp_cdc_enable_table 的引數：@captured_column_list = NULL，所以dbo.Department表的所有欄位都進行監控了，如果你只關心某些欄位，強烈建議在建立捕獲的時候設定這個屬性；
--所有資料庫CDC Job資訊 SELECT B.name,A.* FROM msdb.dbo.cdc_jobs AS A LEFT JOIN sys.databases AS B ON A.database_id = B.database_id --當前資料庫CDC Job資訊 EXEC sp_cdc_help_jobs
（Figure13：資料庫作業資訊）
四.補充說明（Addon）
SQL Server記錄資料變更有四種方法：觸發器、Output子句、變更資料捕獲（Change Data Capture 即CDC）功能、同步更改跟蹤。其中後兩個為SQL Server 2008所新增。
CDC功能主要捕獲SQLServer指定表的增刪改操作；
CDC除了捕獲資料變更之外，還能捕獲DDL操作的變化；
無法對系統資料庫和分發資料庫啟用該功能。且執行者需要用sysadmin角色許可權；
cdc.<capture_instance>_CT 可以看到，這樣命名的表，是用於記錄源表更改的表。對於insert/delete操作，會有對應的一行記錄，而對於update，會有兩行記錄；
對於__$start_lsn列：由於更改是來源與資料庫的事務日誌，所以這裡會儲存其事務日誌的開始序列號（LSN）；
對於__$end_lsn列：
對於__$seqval列：
對於__$operation列：1 = 刪除、2= 插入、3= 更新（舊值）、4= 更新（新值）；
對於__$update_mask列：
恢復模式為簡單模式一樣可以進行CDC；
雖然能捕獲到資料變更，但是沒有辦法找到是誰更新的？
能使用這個做回滾嘛？備份的另外一種路徑？對錶更新不頻繁的情況下？
如果是新增或者刪除了某些欄位DDL，那麼建立的CDC表並沒有做更改，那新欄位的資料怎麼捕獲呢？修改欄位長度等這些操作同樣會一起修改CDC對應的表字段；
sys.sp_cdc_enable_table 的@role_name引數，是指角色-資料庫角色，這個有什麼用呢？應用程式角色又有什麼用呢？
cdc.Person_Contact_CT這名字中CT代表什麼意思呢？Capture Table？（使用者.架構_表_CT）
SQL Server 自啟動了兩個job,一個捕獲，一個清除，注意清除是預設凌晨２點，清除72小時以上的資料。如果同一資料庫的表中CDC已經啟用，不會重建job。
all
返回指定 LSN 範圍內的所有更改。 對於由更新操作導致的更改，此選項只返回在應用更新之後包含新值的行。
all update old
返回指定 LSN 範圍內的所有更改。 對於由更新操作導致的更改，此選項將返回在更新之前包含列值的行和更新之後包含列值的行。