1、之前寫過根據時間戳來增量資料，時間戳增量資料存在一定的缺點，就是如果開啟自動的話，以後如果因為某個外在因素出錯了，那麼這個開始時間和結束時間不好控制，那麼就可能造成一些其他資料量不準的情況，但是根據批次號不會出現這個問題：

使用kettle來根據時間戳或者批次號來批量匯入資料，達到增量的效果。

方案一、
1、第一步、獲取目標資料庫資料表名稱最大批次號;
select '資料表名稱' as table_name, 1 as part,'資料來源' as source,IFNULL(max(Cd_batch), CONCAT(DATE_FORMAT(now(),'%Y%m%d'),'
 
00001')) as next_batch from 資料對賬資料表名稱 where UPPER(TableName)='資料表名稱'
2、第二步、獲取系統資料庫資料表開始批次號;
注意:記得勾選替換SQL語句裡的變數。然後從步驟插入資料進行選中，上一步的名稱。
select ? as table_name, ? as part,? as source,start_batch, ? as next_batch from 系統對賬資料表資料名稱 where table_name='資料表名稱' and part=1 and source='資料來源'
3、第三步、獲取目標資料庫資料表對賬批次號;
注意:記得勾選替換SQL語句裡的變數。然後從步驟插入資料進行選中，上一步的名稱。執行每一行進行勾選，可以保證查詢出的多條SQL語句的值可以被執行。
 
select Cd_count, Cd_batch from 資料對賬資料表名稱 where '資料表名稱'=?  and 1=? and '資料來源'=?  and TableName='資料表名稱' and Cd_batch>? and Cd_batch<=? ORDER BY Cd_batch
4、第四步、獲取目標資料庫資料表批次資料量Cd_count;
注意:記得勾選替換SQL語句裡的變數。然後從步驟插入資料進行選中，上一步的名稱。執行每一行進行勾選，可以保證查詢出的多條SQL語句的值可以被執行。
select (count(*) - ?) as COUNTS, Cd_batch from
 
 資料表名稱 where Cd_batch=?
5、第五步、過濾記錄，傳送true資料給步驟進行選擇正常的目標資料庫資料表表輸入，傳送false資料給步驟進行選擇中止。條件是COUNTS = 0;
6、第六步、目標資料庫資料表表輸入;
注意:記得勾選替換SQL語句裡的變數。然後從步驟插入資料進行選中，上一步的名稱。執行每一行進行勾選，可以保證查詢出的多條SQL語句的值可以被執行。
select *,'資料來源' as Cd_source,'資料表名稱' as table_name, 1 as part,'資料來源' as source, ? as COUNTS from 資料表名稱  where Cd_batch=?
7、第七步、可以將表輸出和表輸出1進行欄位獲取和對映，然後進行更新操作，將next_batch進行更新，更新的條件欄位是table_name、part、source。

方案一和方案二：

相關推薦