1. 程式人生 > >分散式任務排程平臺XXL-JOB

分散式任務排程平臺XXL-JOB

一:簡介

1.1 概述

XXL-JOB是一個輕量級分散式任務排程平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。

1.2 特性

  1. 簡單:支援通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
  2. 動態:支援動態修改任務狀態. 啟動/停止任務,以及終止執行中任務,即時生效;
  3. 排程中心HA(中心式):排程採用中心式設計,“排程中心”基於叢集Quartz實現並支援叢集部署,可保證排程中心HA;
  4. 執行器HA(分散式):任務分散式執行,任務"執行器"支援叢集部署,可保證任務執行HA;
  5. 註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時,也支援手動錄入執行器地址;
  6. 彈性擴容縮容:一旦有新執行器機器上線或者下線,下次排程時將會重新分配任務;
  7. 路由策略:執行器叢集部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;.
  8. 故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器叢集中某一臺機器故障,將會自動Failover切換到一臺正常的執行器傳送排程請求。
  9. 阻塞處理策略:排程過於密集執行器來不及處理時的處理策略,策略包括:單機序列(預設)、丟棄後續排程、覆蓋之前排程;
  10. 任務超時控制:支援自定義任務超時時間,任務執行超時將會主動中斷任務;
  11. 任務失敗重試:支援自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支援分片粒度的失敗重試;
  12. 任務失敗告警;預設提供郵件方式失敗告警,同時預留擴充套件介面,可方面的擴充套件簡訊、釘釘等告警方式;
  13. 分片廣播任務:執行器叢集部署時,任務路由策略選擇"分片廣播"情況下,一次任務排程將會廣播觸發叢集中所有執行器執行一次任務,可根據分片引數開發分片任務;
  14. 動態分片:分片廣播任務以執行器為維度進行分片,支援動態擴容執行器叢集從而動態增加分片數量,協同進行業務處理;在進行大資料量業務操作時可顯著提升任務處理能力和速度。
  15. 事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
  16. 任務進度監控:支援實時監控任務進度;
  17. Rolling實時日誌:支援線上檢視排程結果,並且支援以Rolling方式實時檢視執行器輸出的完整的執行日誌;
  18. GLUE:提供Web IDE,支援線上開發任務邏輯程式碼,動態釋出,實時編譯生效,省略部署上線的過程。支援30個版本的歷史版本回溯。
  19. 指令碼任務:支援以GLUE模式開發和執行指令碼任務,包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼;
  20. 命令列任務:原生提供通用命令列任務Handler(Bean任務,“CommandJobHandler”);業務方只需要提供命令列即可;
  21. 任務依賴:支援配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
  22. 一致性:“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行;
  23. 自定義任務引數:支援線上配置排程任務入參,即時生效;
  24. 排程執行緒池:排程系統多執行緒觸發排程執行,確保排程精確執行,不被堵塞;
  25. 資料加密:排程中心和執行器之間的通訊進行資料加密,提升排程資訊保安性;
  26. 郵件報警:任務失敗時支援郵件報警,支援配置多郵件地址群發報警郵件;
  27. 推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用;
  28. 執行報表:支援實時檢視執行資料,如任務數量、排程次數、執行器數量等;以及排程報表,如排程日期分佈圖,排程成功分佈圖等;
  29. 全非同步:任務排程流程全非同步化設計實現,如非同步排程、非同步執行、非同步回撥等,有效對密集排程進行流量削峰,理論上支援任意時長任務的執行;
  30. 跨平臺:原生提供通用HTTP任務Handler(Bean任務,“HttpJobHandler”);業務方只需要提供HTTP連結即可,不限制語言、平臺;
  31. 國際化:排程中心支援國際化設定,提供中文、英文兩種可選語言,預設為中文;
  32. 容器化:提供官方docker映象,並實時更新推送dockerhub,進一步實現產品開箱即用;

二: 安裝排程中心xxl-job-admin和執行器 xxl-job-executor-samples

  1. 使用IDEA import project

    • xxl-job 包含一些文件和3個工程
      • doc 文件
        • tables_xxl_job.sql
        • XXL-JOB架構圖.pptx
      • xxl-job-admin:排程中心
      • xxl-job-core:公共依賴
      • xxl-job-executor:執行器Sample示例(選擇合適的版本執行器,可直接使用,也可以參考其並將現有專案改造成執行器)
        • xxl-job-executor-sample-spring:Spring版本,通過Spring容器管理執行器,比較通用,推薦這種方式;
        • xxl-job-executor-sample-springboot:Springboot版本,通過Springboot管理執行器;
        • xxl-job-executor-sample-jfinal:JFinal版本,通過JFinal管理執行器;
        • xxl-job-executor-sample-nutz:Nutz版本,通過Nutz管理執行器;
          在這裡插入圖片描述
  2. 初始化“排程資料庫”
    選中一個數據庫(資料庫名稱隨意),然後執行sql檔案 xxl-job-2.0.1/doc/db/tables_xxl_job.sql,此sql檔案會生成16張表。

    mysql> CREATE DATABASE `xxl-job` DEFAULT CHARACTER SET utf8mb4;
    mysql> USE xxl-job;
    mysql> source ~/Projects/open/xxl-job-2.0.1/doc/db/tables_xxl_job.sql
    

    在這裡插入圖片描述
    在這裡插入圖片描述

  3. 配置部署“排程中心” xxl-job-admin
    作用:統一管理任務排程平臺上排程任務,負責觸發排程執行,並且提供任務管理平臺。
    修改屬性檔案xxl-job-2.0.1/xxl-job-admin/src/main/resources/application.properties

    ### 排程中心JDBC連結(需要修改ip、database、username、password)
    spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8
    spring.datasource.username=root
    spring.datasource.password=root123
    spring.datasource.driver-class-name=com.mysql.jdbc.Driver
    
    ### 報警郵箱(根據具體情況來修改)
    xxl.job.mail.host=smtp.163.com
    xxl.job.mail.port=25
    xxl.job.mail.ssl=false
    [email protected]
    xxl.job.mail.password=xxx
    xxl.job.mail.sendNick=《任務排程平臺XXL-JOB》
    

    在IDEA中啟動XxlJobAdminApplication,如果啟動報錯xxl-job-admin.log找不到就自己創建出來

    18:33:40,907 |-ERROR in ch.qos.logback.core.rolling.RollingFileAppender[file] - Failed to create parent directories for [/data/applogs/xxl-job/xxl-job-admin.log]
    
    cd /data
    /data sudo mkdir -p applogs/xxl-job
    cd applogs/xxl-job
    sudo touch xxl-job-admin.log
    sudo chmod 777 xxl-job-admin.log
    

    啟動成功訪問http://localhost:8080/xxl-job-admin/
    在這裡插入圖片描述
    在這裡插入圖片描述

  4. 配置部署“執行器專案” xxl-job-executor-samples
    作用:負責接收“排程中心”的排程並執行;可直接部署執行器,也可以將執行器整合到現有業務專案中。

修改配置檔案xxl-job-executor-sample-springboot/src/main/resources/application.properties, 自己檢視一下配置,這裡該屬性檔案沒什麼要修改的,可以直接啟動XxlJobExecutorApplication,啟動時注意看是否報錯,有肯能由於許可權的問題會報一些檔案不存在的異常,可以自己預先建立好這些目錄檔案再重啟專案

cd /data/applogs/xxl-job
sudo touch xxl-job-executor-sample-springboot.log
sudo chmod 777 xxl-job-executor-sample-springboot.log

sudo mkdir -p jobhandler/gluesource

啟動XxlJobExecutorApplication成功後,檢視排程中心xxl-job-admin中的任務管理選單
在這裡插入圖片描述

三:開發第一個任務“Hello World”

本示例以新建一個 “GLUE模式(Java)” 執行模式的任務為例。“GLUE模式(Java)”的執行程式碼託管到排程中心線上維護,相比“Bean模式任務”需要在執行器專案開發部署上線,更加簡便輕量。

建立任務之前,請確認“排程中心”和“執行器”專案已經成功部署並啟動;

  1. 新增任務
    在這裡插入圖片描述

測試任務1指的是xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/service/jobhandler/DemoJobHandler.java
在這裡插入圖片描述

  1. 選擇執行模式為GLUE(Java)
    在這裡插入圖片描述

請點選任務右側 “GLUE” 按鈕,進入 “GLUE編輯器開發介面” 。“GLUE模式(Java)” 執行模式的任務預設已經初始化了示例任務程式碼,即列印Hello World。“GLUE模式(Java)” 執行模式的任務實際上是一段繼承自IJobHandler的Java類程式碼,它在執行器專案中執行,可使用@Resource/@Autowire注入執行器裡中的其他服務。
在這裡插入圖片描述

  1. 任務程式碼
    在這裡插入圖片描述

感覺GLUE(Java)適合任務是單個Java檔案就能搞定,如果要訪問資料庫,一般資料庫操作會寫到其它檔案中,如果任務涉及到多個檔案應該使用BEAN模式

在這裡插入圖片描述

  1. 點選執行(執行是手動執行一次,可以點選啟動根據Cron來觸發)
    在這裡插入圖片描述

執行任務時可以輸入引數,輸入的值會以引數的形式被傳遞到execute(String param)方法中。

  1. 檢視日誌
    點選任務右側 “日誌” 按鈕,可前往任務日誌介面檢視任務日誌。
    在任務日誌介面中,可檢視該任務的歷史排程記錄以及每一次排程的任務排程資訊、執行引數和執行資訊。執行中的任務點選右側的“執行日誌”按鈕,可進入日誌控制檯檢視實時執行日誌。
    在這裡插入圖片描述

在這裡插入圖片描述