1. 程式人生 > >XXL-JOB v1.9.2 釋出,分散式任務排程平臺

XXL-JOB v1.9.2 釋出,分散式任務排程平臺

v1.9.2 新特性

  • 1、任務超時控制:新增任務屬性 “任務超時時間”,並支援自定義,任務執行超時將會主動中斷任務;
  • 2、任務失敗重試次數:新增任務屬性 “失敗重試次數”,並支援自定義,當任務失敗時將會按照預設的失敗重試次數主動進行重試;同時收斂廢棄其他失敗重試策略,如排程失敗、執行失敗、狀態碼失敗等;
  • 3、新增任務執行模式 "GLUE模式(PHP) ",支援php指令碼任務;
  • 4、新增任務執行模式 "GLUE模式(PowerShell) ",支援PowerShell指令碼任務;
  • 5、排程全非同步處理:任務觸發之後,推送到排程佇列,多執行緒併發處理排程請求,提高任務排程速率的同時,避免因網路問題導致quartz排程執行緒阻塞的問題;
  • 6、執行器任務結果落盤優化:執行器回撥失敗時將任務結果寫磁碟,待重啟或網路恢復時重試回撥任務結果,防止任務執行結果丟失;
  • 7、任務日誌查詢速度大幅提升:百萬級別資料量搜尋速度提升1000倍;
  • 8、排程中心提供API服務,支援通過API服務對任務進行查詢、新增、更新、啟停等操作;
  • 9、底層自研Log元件引數佔位符改為"{}",並修復列印有參日誌時引數不匹配導致報錯的問題;
  • 10、任務回撥結果優化,支援展示在Rolling log中,方便問題排查;
  • 11、底層LocalCache元件相容性優化,支援jdk9、jdk10及以上版本編譯部署;
  • 12、告警郵件固定使用 UTF-8 編碼格式,修復由機器編碼導致的郵件亂碼問題;
  • 13、告警郵件中展示失敗告警資訊;
  • 14、告警郵箱支援SSL配置;
  • 15、Window機器下File.separator不相容問題修復;
  • 16、指令碼任務異常Log輸出優化;
  • 17、任務執行緒停止變數修飾符優化;
  • 18、指令碼任務Log檔案流關閉優化;
  • 19、任務報表成功、失敗和進行中統計問題修復;
  • 20、核心依賴Core內部國際化處理;
  • 21、預設Quartz執行緒數調整為50;
  • 22、新增左側選單"執行報表";
  • 23、執行器手動設定IP時取消繫結Host的操作,該IP僅供執行器註冊使用;修復指定外網IP時無法繫結執行器Host的問題;
  • 24、取消父子任務不可重複的限制,支援迴圈任務觸發等特殊場景;
  • 25、任務排程備註中標註任務觸發型別,如Cron觸發、父任務觸發、API觸發等等,方便排查排程日誌;
  • 26、底層日誌元件SimpleDateFormat執行緒安全問題修復;
  • 27、執行器通訊執行緒優化,corePoolSize從256降低至32;
  • 28、任務日誌表狀態欄位型別優化;
  • 29、GLUE指令碼檔案自動清理功能,及時清理過期指令碼檔案;
  • 30、執行器註冊方式切換優化,切換自動註冊時主動同步線上機器,避免執行器為空的問題;
  • 31、跨平臺:除了提供Java、Python、PHP等十來種任務模式之外,新增提供基於HTTP的任務模式;
  • 32、底層RPC序列化協議調整為hessian2;
  • 33、修復表字段 “t.order”與資料庫關鍵字衝突查詢失敗的問題,
  • 34、任務屬性列舉 “任務模式、阻塞策略” 國際化優化;
  • 35、分片任務失敗重試優化,僅重試當前失敗的分片;
  • 36、任務觸發時支援動態傳參,排程中心與API服務均提供提供動態引數功能;
  • 37、任務執行日誌、排程日誌欄位型別調整,改為text型別並取消字數限制;
  • 38、GLUE任務指令碼欄位型別調整,改為mediumtext型別,提高GLUE長度上限;
  • 39、任務監控執行緒Log輸出優化,執行中任務的監控Log改為debug級別,減少非核心日誌量;
  • 40、專案依賴全量升級至較新穩定版本,如spring、Jackson、groovy等等;
  • 41、docker支援:排程中心提供 Dockerfile 方便快速構建docker映象;

輸入圖片說明

《分散式任務排程平臺XXL-JOB》

1.1 概述

XXL-JOB是一個輕量級分散式任務排程平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。現已開放原始碼並接入多家公司線上產品線,開箱即用。

1.2 特性

  • 1、簡單:支援通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
  • 2、動態:支援動態修改任務狀態、暫停/恢復任務,以及終止執行中任務,即時生效;
  • 3、排程中心HA(中心式):排程採用中心式設計,“排程中心”基於叢集Quartz實現並支援叢集部署,可保證排程中心HA;
  • 4、執行器HA(分散式):任務分散式執行,任務"執行器"支援叢集部署,可保證任務執行HA;
  • 5、註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時,也支援手動錄入執行器地址;
  • 6、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次排程時將會重新分配任務;
  • 7、路由策略:執行器叢集部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
  • 8、故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器叢集中某一臺機器故障,將會自動Failover切換到一臺正常的執行器傳送排程請求。
  • 9、阻塞處理策略:排程過於密集執行器來不及處理時的處理策略,策略包括:單機序列(預設)、丟棄後續排程、覆蓋之前排程;
  • 10、任務超時控制:支援自定義任務超時時間,任務執行超時將會主動中斷任務;
  • 11、任務失敗重試:支援自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支援分片粒度的失敗重試;
  • 12、任務失敗告警;預設提供郵件方式失敗告警,同時預留擴充套件介面,可方面的擴充套件簡訊、釘釘等告警方式;
  • 13、分片廣播任務:執行器叢集部署時,任務路由策略選擇"分片廣播"情況下,一次任務排程將會廣播觸發叢集中所有執行器執行一次任務,可根據分片引數開發分片任務;
  • 14、動態分片:分片廣播任務以執行器為維度進行分片,支援動態擴容執行器叢集從而動態增加分片數量,協同進行業務處理;在進行大資料量業務操作時可顯著提升任務處理能力和速度。
  • 15、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
  • 16、任務進度監控:支援實時監控任務進度;
  • 17、Rolling實時日誌:支援線上檢視排程結果,並且支援以Rolling方式實時檢視執行器輸出的完整的執行日誌;
  • 18、GLUE:提供Web IDE,支援線上開發任務邏輯程式碼,動態釋出,實時編譯生效,省略部署上線的過程。支援30個版本的歷史版本回溯。
  • 19、指令碼任務:支援以GLUE模式開發和執行指令碼任務,包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼;
  • 20、任務依賴:支援配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
  • 21、一致性:“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行;
  • 22、自定義任務引數:支援線上配置排程任務入參,即時生效;
  • 23、排程執行緒池:排程系統多執行緒觸發排程執行,確保排程精確執行,不被堵塞;
  • 24、資料加密:排程中心和執行器之間的通訊進行資料加密,提升排程資訊保安性;
  • 25、郵件報警:任務失敗時支援郵件報警,支援配置多郵件地址群發報警郵件;
  • 26、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用;
  • 27、執行報表:支援實時檢視執行資料,如任務數量、排程次數、執行器數量等;以及排程報表,如排程日期分佈圖,排程成功分佈圖等;
  • 28、全非同步:任務排程流程全非同步化設計實現,如非同步排程、非同步執行、非同步回撥等,有效對密集排程進行流量削峰,理論上支援任意時長任務的執行;
  • 29、跨平臺:原生提供通用HTTP任務Handler(Bean任務,“httpJobHandler”);業務方只需要提供HTTP連結即可,不限制語言、平臺;
  • 30、國際化:排程中心支援國際化設定,提供中文、英文兩種可選語言,預設為中文;

文件地址

技術交流