kettle中的合並記錄使用記錄
阿新 • • 發佈:2018-01-02
ati 指定 sdn content 保存 關鍵字 lang class 分享圖片
註意:合並記錄的使用前提是2個數據源都按比較關鍵字排過序,否則合並之後的數據不準確,可能會多出很多。
該步驟用於將兩個不同來源的數據合並,這兩個來源的數據分別為舊數據和新數據,該步驟將舊數據和新數據按照指定的關鍵字匹配、比較、合並。
需要設置的參數:
舊數據來源:舊數據來源的步驟
新數據來源。新數據來源的步驟
標誌字段:設置標誌字段的名稱,標誌字段用於保存比較的結果,比較結果有下列幾種。
1. “identical” – 舊數據和新數據一樣
2. “changed” – 數據發生了變化;
3. “new” – 新數據中有而舊數據中沒有的記錄
4. “deleted” –舊數據中有而新數據中沒有的記錄
關鍵字段:用於定位兩個數據源中的同一條記錄。
比較字段:對於兩個數據源中的同一條記錄中,指定需要比較的字段。
合並後的數據將包括舊數據來源和新數據來源裏的所有數據,對於變化的數據,使用新數據代替舊數據,同時在結果裏用一個標示字段,來指定新舊數據的比較結果。
註意:
舊數據和新數據需要事先按照關鍵字段排序。
舊數據和新數據要有相同的字段名稱。
例子:
舊數據:
field1, field2
1, 1
2, 2
3, 3
4, 4
新數據
field1, field2
1, 1
2, 9
5, 5
設置:標誌字段是flag,關鍵字段是 field1, 比較字段是field2
合並後的數據
field1; field2; flag
1; 1; identical
2; 9; changed
3; 3; deleted
4; 4; deleted
5; 5; new
kettle中的合並記錄使用記錄