一、簡介

1.1 概述

XXL-JOB是一個輕量級分散式任務排程平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。現已開放原始碼並接入多家公司線上產品線，開箱即用。

1.2 特性

• 1、簡單：支援通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
• 2、動態：支援動態修改任務狀態、啟動/停止任務，以及終止執行中任務，即時生效；
• 3、排程中心HA（中心式）：排程採用中心式設計，“排程中心”基於叢集Quartz實現並支援叢集部署，可保證排程中心HA；
• 4、執行器HA（分散式）：任務分散式執行，任務"執行器"支援叢集部署，可保證任務執行HA；
• 5、註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時，也支援手動錄入執行器地址；
• 6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次排程時將會重新分配任務；
• 7、路由策略：執行器叢集部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
• 8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器叢集中某一臺機器故障，將會自動Failover切換到一臺正常的執行器傳送排程請求。
• 9、阻塞處理策略：排程過於密集執行器來不及處理時的處理策略，策略包括：單機序列（預設）、丟棄後續排程、覆蓋之前排程；
• 10、任務超時控制：支援自定義任務超時時間，任務執行超時將會主動中斷任務；
• 11、任務失敗重試：支援自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支援分片粒度的失敗重試；
• 12、任務失敗告警；預設提供郵件方式失敗告警，同時預留擴充套件介面，可方面的擴充套件簡訊、釘釘等告警方式；
• 13、分片廣播任務：執行器叢集部署時，任務路由策略選擇"分片廣播"情況下，一次任務排程將會廣播觸發叢集中所有執行器執行一次任務，可根據分片引數開發分片任務；
• 14、動態分片：分片廣播任務以執行器為維度進行分片，支援動態擴容執行器叢集從而動態增加分片數量，協同進行業務處理；在進行大資料量業務操作時可顯著提升任務處理能力和速度。
• 15、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支援基於事件的觸發任務方式。排程中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
• 16、任務進度監控：支援實時監控任務進度；
• 17、Rolling實時日誌：支援線上檢視排程結果，並且支援以Rolling方式實時檢視執行器輸出的完整的執行日誌；
• 18、GLUE：提供Web IDE，支援線上開發任務邏輯程式碼，動態釋出，實時編譯生效，省略部署上線的過程。支援30個版本的歷史版本回溯。
• 19、指令碼任務：支援以GLUE模式開發和執行指令碼任務，包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼;
• 20、命令列任務：原生提供通用命令列任務Handler（Bean任務，"CommandJobHandler"）；業務方只需要提供命令列即可；
• 21、任務依賴：支援配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
• 22、一致性：“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行；
• 23、自定義任務引數：支援線上配置排程任務入參，即時生效；
• 24、排程執行緒池：排程系統多執行緒觸發排程執行，確保排程精確執行，不被堵塞；
• 25、資料加密：排程中心和執行器之間的通訊進行資料加密，提升排程資訊保安性；
• 26、郵件報警：任務失敗時支援郵件報警，支援配置多郵件地址群發報警郵件；
• 27、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用;
• 28、執行報表：支援實時檢視執行資料，如任務數量、排程次數、執行器數量等；以及排程報表，如排程日期分佈圖，排程成功分佈圖等；
• 29、全非同步：任務排程流程全非同步化設計實現，如非同步排程、非同步執行、非同步回撥等，有效對密集排程進行流量削峰，理論上支援任意時長任務的執行；
• 30、跨平臺：原生提供通用HTTP任務Handler（Bean任務，"HttpJobHandler"）；業務方只需要提供HTTP連結即可，不限制語言、平臺；
• 31、國際化：排程中心支援國際化設定，提供中文、英文兩種可選語言，預設為中文；
• 32、容器化：提供官方docker映象，並實時更新推送dockerhub，進一步實現產品開箱即用；

具體詳情點此跳轉

三、java springboot整合xxl-job例項：

環境：

• JDK：1.7+
• Servlet/JSP Spec：3.1/2.3
• Tomcat：8.5.x/Jetty9.2.x
• Spring-boot：1.5.x/Spring4.x
• Mysql：5.6+
• Maven：3+

步驟：

第一步到github上下載xxl-job專案

github地址:https://github.com/xuxueli/xxl-job

在工作空間中git clone https://github.com/xuxueli/xxl-job 將專案down到本地

idea開啟專案檢視專案和配置檔案內容：

如果想使用。需要在資料庫建立xxl-job資料庫。在以下配置檔案中將資料庫地址和使用者名稱密碼進行修改

accesstoken自定義新增

第二步:建立庫表結構，進入啟動admin專案進入排程平臺

專案中doc資料夾中有xxl-job需要的建表語句。執行建表語句

建立之後的庫表結構

執行啟動類

地址：http://localhost:8080/xxl-job-admin

登陸之後的介面：

建立執行器

新增資訊。 記住執行器appname需要配置到專案中

檢視任務

新增或者  編輯任務，選擇剛才新增好的執行器，填寫上專案程式碼中的jobhander，路由策略一般選擇廣播模式等。

第三步：加入jar包依賴整合到springboot專案

        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.0.0</version>
        </dependency>

第四步在springboot專案yml檔案配置xxl-job配置資訊

appname：在xxl-job配置的執行器的appname

accessToken：排程中心通訊TOKEN，與xxl-job-admin配置檔案的token一致即可

xxl:
  job:
    admin:
      addresses: http://127.0.0.1:8000/xxl-job-admin
    executor:
      appname: marketing-ads-scheduler
      ip:
      port: 9999
      logpath: /mnt/logs/ads_scheduler
      logretentiondays: 30
    accessToken: 6889b70769ffb1e955ba69396f0cca6b

第五步：配置檔案

@Configuration
@ComponentScan(basePackages = "com.rrc.marketing.adsscheduler.service.jobhandler")
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
//        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }

}

第六步：使用方法

@JobHandLer(value="任務名")

execut：執行任務方法

@JobHandler(value="sem_baidu_adgroup_job")
@Service
@Slf4j
public class AdgroupBaiduJobHandler extends IJobHandler {

  

    @Override
    public ReturnT<String> execute(String param) throws Exception {

        ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();

        int shardingTotal = shardingVO.getTotal();

        int shardingIndex = shardingVO.getIndex();

        int queueIndex = 1;

        ConcurrentLinkedQueue<SemAccountInfoEntity> baiduAccountQueue = CacheUtil.getBaiduAccountQueue();

        for(SemAccountInfoEntity semAccountInfoEntity : baiduAccountQueue){
            if(shardingIndex == queueIndex % shardingTotal) {
                getBaiduAdgroupType(semAccountInfoEntity);
            }
            queueIndex++;
        }

        return SUCCESS;
    }

    @Transactional
    public void getBaiduAdgroupType(SemAccountInfoEntity semAccountInfoEntity) throws JAXBException {
        log.info("呼叫任務");
}

第七步：訪問排程中心專案地址配置執行

以上就是整合xxl-job的全部操作，很簡單實用的分散式人物排程平臺。

感謝觀看！