1、Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上執行，資料抽取高效穩定。下載圖形化介面的zip包格式的，直接解壓縮使用即可。安裝部署模式這裡不說了，自己可以根據自己的需求安裝為單機模式或者叢集模式。    
Kettle的社群官網：https://community.hitachivantara.com/docs/DOC-1009855        
Kettle的下載地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/

kettle國內映象下載：http://mirror.bit.edu.cn/pentaho/Data%20Integration/
2、由於這裡只是演示瞭如何配置通過時間戳和批次號增量的匯入資料，所以具體的操作不再敘述，具體的使用自己可以根據需求來使用。

Job如下所示：

思路。
批次量將一批資料從一個數據庫匯入到另外一個數據庫，而且每批次的資料量不能重複。
這裡使用時間戳，你也可以使用批次號。原理基本一樣，都是確定每一批次的資料量。
job步驟：
    第一步。start，可以設定定時或者手動點選啟動job。
    第二步。執行轉換。
    第三步。將start_time=next_time。
    第四步。成功。        
        
 
1、Start，型別可以選擇不需要定時，時間間隔，天，周，月。
預設不需要定時，如果需要定時的話，首先把重複的框勾選。
然後如果選擇時間間隔的話，可以輸入以分鐘計算的間隔或者以秒計算的間隔。
如果按天，就選擇天，然後選擇每天幾天的幾分開始跑。
如果按照周，就選擇每週的每天幾點幾分開始跑job。
如果是每月的話，就選擇那一月的每天幾點幾分跑job。
        
2、轉換的作業項名稱，自己填自己的作業項名稱，
在轉換設定的tab然後自己填自己的轉換檔名core_table_name_down。
高階tab，設定日誌tab，位置引數tab，
命名引數tab，如果自己需要的話可以自己使用和研究。
        
 
3、作業項名稱，自己填自己的，資料庫連線，自己新建和編輯即可。
SQL指令碼，自己填上自己的sql指令碼。
這個主要是批次量匯入資料，所以使用時間戳來實現批次量匯入資料。
所以每次批次量匯入資料結束，將start_time=next_time。這樣下次
執行這個job，就是下一批的資料量了。
update 資料表名稱 set start_time=next_time where table_name='資料表名稱' and part=第幾步

相關推薦