> 大家好，我是練習java兩年半時間的南橘，從一名連java有幾種資料結構都不懂超級小白，到現在懂了一點點的進階小白，學到了不少的東西。知識越分享越值錢，我這段時間總結（包括從別的大佬那邊學習，引用）了一些平常學習和工作中的重點（自我認為），希望給大家帶來一些幫助 很多業務場景需要我們某一特定的時刻去做某件任務，定時任務解決的就是這種業務場景。一般來說，系統可以使用訊息傳遞代替部分定時任務，兩者有很多可以相互替換場景。如，發貨成功發簡訊通知客戶的業務場景，我們可以在發貨成功後傳送MQ訊息到佇列，然後去消費mq訊息，傳送簡訊。但是在很多情況，MQ系統並不能承擔定時任務： - 每天5:30定時去sftp下載一天的還款計劃 - 每天23：00提交一天的日終計劃 - 每5分鐘同步一次相關的訂單狀態 當遇到這些問題的時候，就可以考慮用到定時任務了。 ## XXL-JOB介紹 XXL-JOB是一個分散式任務排程平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴充套件。現已開放原始碼並接入多家公司線上產品線，開箱即用。 #### 1、XXL-JOB特性： - 1、簡單：支援通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手； - 2、動態：支援動態修改任務狀態、啟動/停止任務，以及終止執行中任務，即時生效； - 3、排程中心HA（中心式）：排程採用中心式設計，“排程中心”自研排程元件並支援叢集部署，可保證排程中心HA； - 4、執行器HA（分散式）：任務分散式執行，任務”執行器”支援叢集部署，可保證任務執行HA； - 5、註冊中心: 執行器會週期性自動註冊任務, 排程中心將會自動發現註冊的任務並觸發執行。同時，也支援手動錄入執行器地址； - 6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次排程時將會重新分配任務； - 7、觸發策略：提供豐富的任務觸發策略，包括：Cron觸發、固定間隔觸發、固定延時觸發、API（事件）觸發、人工觸發、父子任務觸發； - 8、排程過期策略：排程中心錯過排程時間的補償處理策略，包括：忽略、立即補償觸發一次等； - 9、阻塞處理策略：排程過於密集執行器來不及處理時的處理策略，策略包括：單機序列（預設）、丟棄後續排程、覆蓋之前排程； - 10、任務超時控制：支援自定義任務超時時間，任務執行超時將會主動中斷任務； - 11、任務失敗重試：支援自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支援分片粒度的失敗重試； - 12、任務失敗告警；預設提供郵件方式失敗告警，同時預留擴充套件介面，可方便的擴充套件簡訊、釘釘等告警方式； - 13、路由策略：執行器叢集部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等； - 14、分片廣播任務：執行器叢集部署時，任務路由策略選擇”分片廣播”情況下，一次任務排程將會廣播觸發叢集中所有執行器執行一次任務，可根據分片引數開發分片任務； - 15、動態分片：分片廣播任務以執行器為維度進行分片，支援動態擴容執行器叢集從而動態增加分片數量，協同進行業務處理；在進行大資料量業務操作時可顯著提升任務處理能力和速度。 - 16、故障轉移：任務路由策略選擇”故障轉移”情況下，如果執行器叢集中某一臺機器故障，將會自動Failover切換到一臺正常的執行器傳送排程請求。 - 17、任務進度監控：支援實時監控任務進度； - 18、Rolling實時日誌：支援線上檢視排程結果，並且支援以Rolling方式實時檢視執行器輸出的完整的執行日誌； - 19、GLUE：提供Web IDE，支援線上開發任務邏輯程式碼，動態釋出，實時編譯生效，省略部署上線的過程。支援30個版本的歷史版本回溯。 - 20、指令碼任務：支援以GLUE模式開發和執行指令碼任務，包括Shell、Python、NodeJS、PHP、PowerShell等型別指令碼; - 21、命令列任務：原生提供通用命令列任務Handler（Bean任務，”CommandJobHandler”）；業務方只需要提供命令列即可； - 22、任務依賴：支援配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔； - 23、一致性：“排程中心”通過DB鎖保證叢集分散式排程的一致性, 一次任務排程只會觸發一次執行； - 24、自定義任務引數：支援線上配置排程任務入參，即時生效； - 25、排程執行緒池：排程系統多執行緒觸發排程執行，確保排程精確執行，不被堵塞； - 26、資料加密：排程中心和執行器之間的通訊進行資料加密，提升排程資訊保安性； - 27、郵件報警：任務失敗時支援郵件報警，支援配置多郵件地址群發報警郵件； - 28、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便使用者接入和使用; - 29、執行報表：支援實時檢視執行資料，如任務數量、排程次數、執行器數量等；以及排程報表，如排程日期分佈圖，排程成功分佈圖等； - 30、全非同步：任務排程流程全非同步化設計實現，如非同步排程、非同步執行、非同步回撥等，有效對密集排程進行流量削峰，理論上支援任意時長任務的執行； - 31、跨語言：排程中心與執行器提供語言無關的 RESTful API 服務，第三方任意語言可據此對接排程中心或者實現執行器。除此之外，還提供了 “多工模式”和“httpJobHandler”等其他跨語言方案； - 32、國際化：排程中心支援國際化設定，提供中文、英文兩種可選語言，預設為中文； - 33、容器化：提供官方docker映象，並實時更新推送dockerhub，進一步實現產品開箱即用； - 34、執行緒池隔離：排程執行緒池進行隔離拆分，慢任務自動降級進入”Slow”執行緒池，避免耗盡排程執行緒，提高系統穩定性； - 35、使用者管理：支援線上管理系統使用者，存在管理員、普通使用者兩種角色； - 36、許可權控制：執行器維度進行許可權控制，管理員擁有全量許可權，普通使用者需要分配執行器許可權後才允許相關操作； （感覺這個像水字數啊） ### 2、系統組成  **排程模組（排程中心）**：負責管理排程資訊，按照排程配置發出排程請求，自身不承擔業務程式碼。排程系統與任務解耦，提高了系統可用性和穩定性，同時排程系統性能不再受限於任務模組；支援視覺化、簡單且動態的管理排程資訊，包括任務新建，更新，刪除，GLUE開發和任務報警等，所有上述操作都會實時生效，同時支援監控排程結果以及執行日誌，支援執行器Failover。 **執行模組（執行器）**：負責接收排程請求並執行任務邏輯。任務模組專注於任務的執行等操作，開發和維護更加簡單和高效；接收“排程中心”的執行請求、終止請求和日誌請求等。  如圖，我們可以看出xxl-job的執行方式，在排程中心建立好排程器，在程式碼中設定好執行器，就能夠非常輕鬆的實現定時任務，比springboot裡自帶的定時任務更加的簡單與視覺化。 **視覺化就是XXL-JOB受歡迎的一個重要因素**。 >[需要搭建xxl-job體系的同學可以去開源社群看](https://www.xuxueli.com/xxl-job/#1.1%20概述) ### 3、新增定時任務 xxl-job的使用也很簡單，搭建完排程中心之後。 1、登入排程中心，密碼之類的可以自行設定，預設的埠號是8080  2、新建一個執行器，執行器就類似於一個專案，排程任務需要隸屬於某個執行器，執行器支援叢集部署，提升排程系統可用性，同時提升任務處理能力。 當然，排程中心也是可以叢集部署的，可以通過nginx為排程中心叢集做負載均衡，分配域名。 - 執行器回撥地址（xxl.job.admin.addresses）需要保持一致；執行器根據該配置進行執行器自動註冊等操作。 - 同一個執行器叢集內AppName（xxl.job.executor.appname）需要保持一致；排程中心根據該配置動態發現不同叢集的線上執行器列表。  3、登入排程中心，點選下圖所示“新建任務”按鈕，新建示例任務。然後，參考下面截圖中任務的引數配置，點選儲存。  新建任務後有很多操作的選項，可以根據實際情況進行使用（強烈建議關閉沒必要的定時任務，嚴重影響效能，如果你配置了elk，你會發現kibana裡全是定時任務的日誌）  4、在程式中開發：(介紹的是BEAN模式（類形式）) - JobHander：為Job方法添加註解，註解名為新增任務中的註解名。 - 執行日誌：需要通過 "XxlJobLogger.log" 列印執行日誌。 - 任務結果：預設任務結果為 "成功" 狀態，不需要主動設定；如有訴求，比如設定任務結果為失敗，可以通過"XxlJobHelper.handleFail/handleSuccess" 自主設定任務結果。  5、列印日誌，並且可以在排程中心檢視日誌。但是如果是一天內多次重複呼叫，日誌比較難查詢，可以再輔以elk查詢日誌。同時，在新建任務的時候，也可以指定報錯通知的郵箱，會在報錯後發郵件通知。   ### 4、任務模式的介紹 >類形式雖然說每個任務需要佔用一個java類，但是根據介面隔離原則、單一職責原則來看，其實這樣才更加符合java的設計原則。同時，因為使用了排程中心，手動註冊也不成問題。  >但是在一些其他地方，比如不同情況、不同時間段執行相同的任務的時候，可以採用方法形式進行開發，一方面可以複用程式碼邏輯，另一方面也可以開發起來更方便。  ### 5、排程模組剖析 - 1、XXL-JOB中“**排程模組**”和“**任務模組**”**完全解耦**，排程模組進行任務排程時，將會解析不同的任務引數發起遠端呼叫，呼叫各自的遠端執行器服務。這種呼叫模型類似RPC呼叫，排程中心提供呼叫代理的功能，而執行器提供遠端服務的功能。 - 2、排程採用執行緒池方式實現，避免單執行緒因阻塞而引起任務排程延遲。 - 3、XXL-JOB排程模組預設採用並行機制，在多執行緒排程的情況下，不同任務之間並行排程、並行執行，排程模組被阻塞的機率很低，大大提高了排程系統的承載量。 - 4、XXL-JOB的單個任務，針對多個執行器是並行執行的，針對單個執行器是序列執行的。同時支援任務終止。 - 5、任務排程錯過觸發時間時的處理策略： - 可能原因：服務重啟；排程執行緒被阻塞，執行緒被耗盡；上次排程持續阻塞，下次排程被錯過； **過期超5s：本次忽略，當前時間開始計算下次觸發時間** **過期5s內：立即觸發一次，當前時間開始計算下次觸發時間** ### 6、優缺點介紹 | 優點 | 缺點 | |------|------------| | 開發迅速、學習簡單、輕量級、易擴充套件。開箱即用 | 排程中心通過獲取DB鎖來保證叢集中執行任務的唯一性，如果短任務很多，隨著排程中心叢集數量增加，那麼資料庫的鎖競爭會比較厲害，效能不好。 | | 彈性擴容，分片廣播，故障轉移，Rolling實時日誌，GLUE（支援線上編輯程式碼，免釋出），任務進度監控，任務依賴，資料加密，郵件報警，執行報表，國際化 | 需要手動在排程中心新增任務不能實現自動掃描註冊。 | | 視覺化管理介面 | | | 跨語言 | | | 視覺化管理介面 | | 還有許多關於xxl-job叢集的內容大家可以去開源的官網上檢視，我主要是向大家介紹一些重點內容與我自己使用的體驗，具體怎麼選擇，如何使用，還是要根據大家自己的業務需求來進行選擇。下面這張圖是xxl-job和另一個常用的任務排程工具elastic-job的對比，大家也可以自己參考一下：   ## 定