電商平臺-定時器,定時任務quartz的設計與架構
說明:任何業務有時候需要系統在某個定點的時刻執行某些任務,比如:凌晨2點統計昨天的報表,早上6點抽取使用者下單的佣金。
對於Java開源生鮮電商平臺而言,有定時推送客戶備貨,定時計算賣家今日的收益,定時提醒每日的提現金額等等
對於Java定時器而言,我們採用spring+quartz來進行技術解決方案:
對於業務而言,需要滿足以下幾個方面:
1. 對定時任務需要可以手動啟動,手動停止,手動刪除等。
2. 對定時任務的結果需要記錄,什麼時候執行,執行的結果如何,是否存在異常,是否有異常的記錄。
3. 對定時器的錯誤,如果是級別很重要,是否有簡訊提醒來讓運營人員或者技術人員手工處理呢?
類似這樣:
為了滿足業務的需求,根據quartz的技術選型,設計一下基礎架構:
1. 任務記錄資訊表:
CREATE TABLE `t_job` ( `JOB_ID` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '任務id', `BEAN_NAME` varchar(100) NOT NULL COMMENT 'spring bean名稱', `METHOD_NAME` varchar(100) NOT NULL COMMENT '方法名', `PARAMS` varchar(200) DEFAULT NULL COMMENT '引數', `CRON_EXPRESSION` varchar(100) NOT NULL COMMENT 'cron表示式', `STATUS` char(2) NOT NULL COMMENT '任務狀態 0:正常 1:暫停', `REMARK` varchar(200) DEFAULT NULL COMMENT '備註', `CREATE_TIME` datetime DEFAULT NULL COMMENT '建立時間', PRIMARY KEY (`JOB_ID`) ) ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8;
2. 任務操作日誌記錄表:
CREATE TABLE `t_job_log` ( `LOG_ID` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '任務日誌id', `JOB_ID` bigint(20) NOT NULL COMMENT '任務id', `BEAN_NAME` varchar(100) NOT NULL COMMENT 'spring bean名稱', `METHOD_NAME` varchar(100) NOT NULL COMMENT '方法名', `PARAMS` varchar(200) DEFAULT NULL COMMENT '引數', `STATUS` char(2) NOT NULL COMMENT '任務狀態 0:成功 1:失敗', `ERROR` text COMMENT '失敗資訊', `TIMES` decimal(11,0) DEFAULT NULL COMMENT '耗時(單位:毫秒)', `CREATE_TIME` datetime DEFAULT NULL COMMENT '建立時間', PRIMARY KEY (`LOG_ID`) ) ENGINE=InnoDB AUTO_INCREMENT=2476 DEFAULT CHARSET=utf8;
說明:整個業務很簡單,整個表設計與架構也很簡單。
最終運營截圖如下:
相關的系統設定與配置說明:
相關的核心程式碼如下:
/**
* 定時任務
*
* @author Administrator
*
*/
public class ScheduleJob extends QuartzJobBean {
private Logger logger = LoggerFactory.getLogger(this.getClass());
private ExecutorService service = Executors.newSingleThreadExecutor();
@Override
protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
Job scheduleJob = (Job) context.getMergedJobDataMap().get(Job.JOB_PARAM_KEY);
// 獲取spring bean
JobLogService scheduleJobLogService = (JobLogService) SpringContextUtils.getBean("JobLogService");
JobLog log = new JobLog();
log.setJobId(scheduleJob.getJobId());
log.setBeanName(scheduleJob.getBeanName());
log.setMethodName(scheduleJob.getMethodName());
log.setParams(scheduleJob.getParams());
log.setCreateTime(new Date());
long startTime = System.currentTimeMillis();
try {
// 執行任務
logger.info("任務準備執行,任務ID:" + scheduleJob.getJobId());
ScheduleRunnable task = new ScheduleRunnable(scheduleJob.getBeanName(), scheduleJob.getMethodName(),
scheduleJob.getParams());
Future<?> future = service.submit(task);
future.get();
long times = System.currentTimeMillis() - startTime;
log.setTimes(times);
// 任務狀態 0:成功 1:失敗
log.setStatus("0");
logger.info("任務執行完畢,任務ID:" + scheduleJob.getJobId() + " 總共耗時:" + times + "毫秒");
} catch (Exception e) {
logger.error("任務執行失敗,任務ID:" + scheduleJob.getJobId(), e);
long times = System.currentTimeMillis() - startTime;
log.setTimes(times);
// 任務狀態 0:成功 1:失敗
log.setStatus("1");
log.setError(StringUtils.substring(e.toString(), 0, 2000));
} finally {
scheduleJobLogService.saveJobLog(log);
}
}
}
/**
* 執行定時任務
*
* @author Administrator
*
*/
public class ScheduleRunnable implements Runnable {
private Object target;
private Method method;
private String params;
public ScheduleRunnable(String beanName, String methodName, String params)
throws NoSuchMethodException, SecurityException {
this.target = SpringContextUtils.getBean(beanName);
this.params = params;
if (StringUtils.isNotBlank(params)) {
this.method = target.getClass().getDeclaredMethod(methodName, String.class);
} else {
this.method = target.getClass().getDeclaredMethod(methodName);
}
}
@Override
public void run() {
try {
ReflectionUtils.makeAccessible(method);
if (StringUtils.isNotBlank(params)) {
method.invoke(target, params);
} else {
method.invoke(target);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
/**
* 執行定時任務
*
* @author Administrator
*
*/
public class ScheduleRunnable implements Runnable {
private Object target;
private Method method;
private String params;
public ScheduleRunnable(String beanName, String methodName, String params)
throws NoSuchMethodException, SecurityException {
this.target = SpringContextUtils.getBean(beanName);
this.params = params;
if (StringUtils.isNotBlank(params)) {
this.method = target.getClass().getDeclaredMethod(methodName, String.class);
} else {
this.method = target.getClass().getDeclaredMethod(methodName);
}
}
@Override
public void run() {
try {
ReflectionUtils.makeAccessible(method);
if (StringUtils.isNotBlank(params)) {
method.invoke(target, params);
} else {
method.invoke(target);
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
POM檔案
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz</artifactId>
<version>2.2.1</version>
</dependency>
<dependency>
<groupId>org.quartz-scheduler</groupId>
<artifactId>quartz-jobs</artifactId>
<version>2.2.1</version>
</dependency>
org.quartz.scheduler.instanceName屬性可為任何值,用在 JDBC JobStore 中來唯一標識例項,但是所有叢集節點中必須相同。
org.quartz.scheduler.instanceId 屬性為 AUTO即可,基於主機名和時間戳來產生例項 ID。
org.quartz.jobStore.class屬性為 JobStoreTX,將任務持久化到資料中。因為叢集中節點依賴於資料庫來傳播 Scheduler 例項的狀態,你只能在使用 JDBC JobStore 時應用 Quartz 叢集。這意味著你必須使用 JobStoreTX 或是 JobStoreCMT 作為 Job 儲存;你不能在叢集中使用 RAMJobStore。
org.quartz.jobStore.isClustered 屬性為 true,你就告訴了 Scheduler 例項要它參與到一個叢集當中。這一屬性會貫穿於排程框架的始終,用於修改叢集環境中操作的預設行為。
org.quartz.jobStore.clusterCheckinInterval 屬性定義了Scheduler 例項檢入到資料庫中的頻率(單位:毫秒)。Scheduler 檢查是否其他的例項到了它們應當檢入的時候未檢入;這能指出一個失敗的 Scheduler 例項,且當前 Scheduler 會以此來接管任何執行失敗並可恢復的 Job。通過檢入操作,Scheduler 也會更新自身的狀態記錄。clusterChedkinInterval 越小,Scheduler 節點檢查失敗的 Scheduler 例項就越頻繁。預設值是 15000 (即15 秒)。
最終:系統架構設計圖:
最後:很多人說系統功能很強大很好,但是我的一種思維方式是不一定,強大固然好,但是你需要通過這麼多的系統資料中來分析出問題的關鍵,而不是所謂的程式碼堆積。
你所需要的是思考,再思考,最終思考。