1. 程式人生 > >基於agenda的Nodejs定時任務管理框架搭建

基於agenda的Nodejs定時任務管理框架搭建

color 主動 這樣的 gpo ash hello 圖片 一個 實現

0、背景

  在大型項目中,定時任務的應用場景越來越廣。一般來說,按照微服務的思想,我們會將定時任務單獨部署一套服務,核心的業務接口獨立到另一個服務中,從而降低相互之間的耦合程度。在需要使用定時任務時,只需要由定時任務微服務定時向核心業務服務發起異步接口調用。

  基於NodeJS來搭建這樣一套定時任務的話,我們可以使用現有比較成熟的第三方框架來快速搭建,開發人員只需要關註定時任務的實現邏輯即可。

1、agenda

  在github搜索nodejs schedule的話會有很多類庫,比如node-schedule,agenda,node-cron等。之所以選擇agenda的話主要由兩個原因:1、agenda接口簡單,還可使用人類可讀的cron表達式;2、agenda提供了完整的Restful API接口,以及可統計查看操作的UI界面。

  這樣的話,我們只要在代碼中提前定義好定時任務處理邏輯,然後就可以在界面在新增或者移除定時任務安排,而無需重新上線。

  下面我們就開始從頭搭建基於agenda的定時任務。

2、基礎環境準備

  • MongoDB:agenda需要使用MongoDB來存儲定時任務數據。建議大家使用docker進行一建安裝,操作簡單,刪除也方便。只需要docker中搜索mongo,選擇安裝默認推薦的官方版即可。
  • agenda:定時任務管理框架,文檔參考:https://github.com/agenda/agenda
  • agendash:基於agenda的UI管理界面,文檔參考:https://github.com/agenda/agendash
  • express:用於配合agendash啟動WEB服務
  • nirvana-logger:非必選,nodejs日誌輸出框架,文檔參考:https://www.npmjs.com/package/nirvana-logger

3、樣例代碼

 1 // 框架引入
 2 var express = require(‘express‘);
 3 var app = express();
 4 
 5 var Agenda = require(‘agenda‘);
 6 var Agendash = require(‘agendash‘);
 7 var L = require(‘nirvana-logger‘)(‘agenda‘)
8 9 // agenda初始化,並連接MongoDB 10 var agenda = new Agenda({db: {address: ‘mongodb://localhost:32768/agenda‘}}); 11 12 // 定義一個測試任務 13 agenda.define(‘testJob‘, function (job, done) { 14 try { 15 L(‘hello‘,job.attrs.data, new Date()) 16 done() 17 }catch (err) { 18 done(new Error(err)) 19 } 20 }) 21 22 // agenda框架啟動 23 agenda.on(‘ready‘, function () { 24 L("====>>>agenda啟動成功<<<<===") 25 agenda.start(); 26 }) 27 28 // Agendash UI界面 29 app.listen(3000); 30 app.use(‘/dash‘, Agendash(agenda));

13行:定義一個任務,名稱為testJob,後續我們可以通過該名字安排定時任務。第二個參數是一個函數,用於處理我們的業務邏輯,需要註意的是,我們需要在任務完成之後主動調用done方法,這樣agenda才會將任務標記為完成。

17行:如果任務執行過程中出現異常(比如網絡請求異常)時,需要向done傳入一個error對象,agenda會將此任務標記為fail狀態。

23行:在agenda連接MongoDB成功後,會觸發ready的鉤子,我們才能在這裏開始安排定時任務,並且讓agenda開始執行定時任務掃描。

29行:在3000端口啟動express,同時使用agendash框架啟動agenda的WEB管理界面。

執行node命令啟動該js文件,如果能在命令行看到“agenda啟動成功”則表示agenda連接數據庫成功並且成功啟動。

其實細心的同學可以,我們在上面的代碼中只是定義了任務,但是並沒有對進行對任務進行定時運行。

所以接下來我們將演示如何在WEB界面上對定時任務進進行查詢,新增以及刪除的操作。

現在我們可以打開:http://localhost:3000/dash/# 來查看web界面。

4、定時任務界面管理

打開agendash的默認界面是這樣

技術分享圖片

從界面上也可以看出,我們現在的確並未啟動任何定時任務。

4.1 新增定時任務

點擊【Schedule job】,在後面彈出create job界面:

技術分享圖片

Job name:我們需要使用的任務名稱,即我們在程序中提前設置好的任務,比如剛才定義的testJob

Schedule:安排定時任務,這裏我們輸入希望定時任務執行的時間點,比如5 minutes。這裏時間的支持具體請參考:https://github.com/agenda/human-interval

Repeat every:循環執行定時任務,這裏輸入循環間隔時間。比如5 seconds。這裏需要註意的是schedule安排的任務只會執行一次,repeat任務會一直循環執行。所以這二者一般只需要按需求填一個即可。

Job data:向定時任務傳入的額外數據,我們可以在任務執行時通過job.attr.data獲取到這些參數。

點擊保存後,我們的定時任務就開始運行,可以看到控制臺開始循環執行打印日誌:

技術分享圖片

同時WEB界面數據將會更新,我們也能看到定時任務的運行狀態:

技術分享圖片

schedule安排一次性的定時任務也是類似的操作,大家可以自己嘗試。

值得註意的是,我們定義的任務,是可以被重復執行定時任務。

4.2 移除定時任務

點擊某一個定時任務,就能查看到任務的詳細信息以及相關操作。

點擊右上角的【delete selected】即可刪除該定時任務。

技術分享圖片

5、幾個註意點

  • 定時任務的時間除了使用cron表達式以外,還只能簡單的英文表達,具體要參考https://github.com/agenda/human-interval
  • 定時任務在執行過程中會將設置為鎖定狀態,任務執行完成以後再將任務鎖定狀態解除。所以如果任務在執行過程中,程序退出的話,那麽就會導致任務一直處於鎖定狀態,agenda默認10分鐘後自動解鎖任務。
  • 為避免定時任務重復執行,一般來講定時任務微服務我們只需要部署一個實例即可。核心的業務接口處於負載均衡的考慮,可以按業務量多部署幾個實例。

基於agenda的Nodejs定時任務管理框架搭建