1. 程式人生 > >kettle排程現狀、痛點及解決方法

kettle排程現狀、痛點及解決方法

kettle作為非常優秀的開源ETL工具得到了非常廣泛的使用,一般的使用的都是使用客戶端操作管理,但問題是當投入生產環境使用時,動輒上百或幾百個job需要管理,這時在使用客戶端管理已經很難完成了。

我所知道的解決方案有用命令列的呼叫的,操作麻煩,體驗很差(基於命令列上構架出來的一般都用Linux的crontab、或者是Windows下用定時器等);還有就是開發web端管理工具,kettle自帶了一個web端管理工具,介面極其簡陋不說,還很難用,基本無法投入生產環境使用。

上述方法不能滿足後,我開始尋求第三方工具,發現其實排程界的產品還是有很多,有Control-M、TASKCTL等專注排程的老牌廠商;有外包專案整合的Moia、ETS、WFT、IBM整合的排程工具;也有開源的Oozie、Zeus、Azkaban。

挨個檢視一下資料後,感覺taskctl應該算裡面比較簡單的,試用後taskctl,還不錯,他們家不僅僅對Kettle支援不錯,基本上市面上常見的資料庫、各種類似的大資料、ETL工具、各種指令碼語言都有這不錯的支援力度,即使不支援的,也可以自己擴充套件。

下面是一些在查詢資料過程中收集到的帖子,也一併分享個大家。

   如果有什麼地方說的不對,請大家多多指正,共同學習進步!