1. 程式人生 > >kettle中的合並記錄使用記錄

kettle中的合並記錄使用記錄

ati 指定 sdn content 保存 關鍵字 lang class 分享圖片

註意:合並記錄的使用前提是2個數據源都按比較關鍵字排過序,否則合並之後的數據不準確,可能會多出很多。

技術分享圖片

該步驟用於將兩個不同來源的數據合並,這兩個來源的數據分別為舊數據和新數據,該步驟將舊數據和新數據按照指定的關鍵字匹配、比較、合並。

需要設置的參數:


舊數據來源:舊數據來源的步驟

新數據來源。新數據來源的步驟

標誌字段:設置標誌字段的名稱,標誌字段用於保存比較的結果,比較結果有下列幾種。

1. “identical” – 舊數據和新數據一樣

2. “changed” – 數據發生了變化;

3. “new” – 新數據中有而舊數據中沒有的記錄

4. “deleted” –舊數據中有而新數據中沒有的記錄

關鍵字段:用於定位兩個數據源中的同一條記錄。

比較字段:對於兩個數據源中的同一條記錄中,指定需要比較的字段。

合並後的數據將包括舊數據來源和新數據來源裏的所有數據,對於變化的數據,使用新數據代替舊數據,同時在結果裏用一個標示字段,來指定新舊數據的比較結果。

註意:

舊數據和新數據需要事先按照關鍵字段排序。

舊數據和新數據要有相同的字段名稱。

例子:

舊數據:

field1, field2

1, 1

2, 2

3, 3

4, 4


新數據

field1, field2

1, 1

2, 9

5, 5


設置:標誌字段是flag,關鍵字段是 field1, 比較字段是field2


合並後的數據

field1; field2; flag

1; 1; identical

2; 9; changed

3; 3; deleted

4; 4; deleted

5; 5; new

kettle中的合並記錄使用記錄