1. 程式人生 > >Java應用集群下的定時任務處理方案(mysql)

Java應用集群下的定時任務處理方案(mysql)

運行 1.0 null 都是 bean -a 刷新 bat 任務調度

今天來說一個Java多機部署下定時任務的處理方案。

需求: 有兩臺服務器同時部署了同一套代碼, 代碼中寫有spring自帶的定時任務,但是每次執行定時任務時只需要一臺機器去執行。

當拿到這個需求時我腦子中立馬出現了兩個簡單的解決方案:

  • 利用ip進行判斷, 兩臺機器ip肯定不一樣, 指定某一臺機器的ip運行。
  • 只在一臺機器上部署定時任務的代碼。

最後兩個方案又都被自己否決了。 第一條,如果指定ip的機器出現了問題怎麽辦? 例如說宕機了, 那麽該制定ip的機器上的定時任務是不是就無法運行了?如果以後該服務器遷移導致ip變化怎麽辦?
第二條, 同上, 還有就是要維護兩套代碼很不方便。

因為上面兩個假設都不成立, 只能另找他法。 於是便想到利用mysql去解決, 之前了解過一點mysql的鎖機制, 知道如果有同時的兩個任務去寫數據庫中同一條記錄, 只有一條會成功, 這是利用了mysql的排他鎖。(詳細內容可以看下我的這篇文章:MySQL中的共享鎖與排他鎖)

下面就開始代碼演示, 這裏主要想給大家的是一個思路的提示, 代碼還是很簡單的。

  • 首先需要單獨創建一張表
CREATE TABLE `t_schedule_cluster` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT [email protected]:主鍵‘,
  `execute` int(1) NOT NULL COMMENT [email protected]:執行狀態‘,
  `version` int(11) NOT NULL COMMENT [email protected]
*/:版本號\r\n ‘, `task_name` varchar(128) NOT NULL COMMENT [email protected]:任務名稱\r\n ‘, `execute_ip` varchar(32) DEFAULT NULL COMMENT [email protected]:執行ip\r\n ‘, `update_time` datetime DEFAULT NULL COMMENT [email protected]:修改時間\r\n ‘, PRIMARY KEY (`id`), KEY `Index_series_id` (`execute`) ) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8 [email protected]
/* */:多機定時任務調度‘;

看一下建成後的表結構, 註釋寫的已經很清楚了, 初始化時需要添加一些定時任務的名稱(task_name), 這個要和你代碼中保持一致, 後面會提到:
技術分享

  • 代碼
    首先看下我代碼中用到的spring定時任務:
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:task="http://www.springframework.org/schema/task"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-3.2.xsd"
       default-lazy-init="true">
    <description>使用Spring的 Scheduled的定時任務配置</description>
    <!--支持annotation的方式-->
    <task:annotation-driven  />
    <task:scheduler id="springScheduler"  pool-size="10"/>
    <task:scheduled-tasks scheduler="springScheduler">
        <!-- 測試使用, 項目啟動後每隔一分鐘執行一次 -->
        <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
        <task:scheduled ref="listCarAction" method="listCar" cron="0 0/1 0 * * ?"/>
    </task:scheduled-tasks>
</beans>

相信大家都是用過這種定時任務的設置方法, 因為它是spring自帶的, 所以使用起來很方便, 這裏我指定了兩個定時任務來模擬兩臺機器的情況, 兩個定時任務都是項目啟動後每隔一分鐘執行一次。

然後看看這個listCar中的代碼:

//定時任務的名稱, 這個和數據庫中的task_name是保持一致的, 保證要執行該定時任務。
public static final String LIST_CAR_TASK = "listCarTask";
private ScheduleClusterTask scheduleClusterTask;
//這個時間是根據spring-scheduler.xml中配置的定時刷新時間, 比如說我們以後要設置這個定時任務時4小時刷新一次
public static final long maxExpireTime = 4 * 3600;

public void listCar() {
        if (scheduleClusterTask.isValidMachine(maxExpireTime, CommonConstants.ScheduleTaskName.LIST_CAR_TASK)) {
            //執行具體的task方法, 
            doTask();
            //將execute狀態更新為0
            scheduleClusterTask.end(LIST_CAR_TASK);
        }
    }

最後看下最核心的代碼:ScheduleClusterTask.java

/**
 * 多機定時任務工具類
 * Created by WangMeng on 2017/4/12.
 */
@Service
public class ScheduleClusterTask {

    private ScheduleClusterEntityService scheduleClusterEntityService;

    /**
     * 這裏因為兩臺機器都有同樣的定時任務, 會同時執行這個方法,只有一臺機器可以執行成功,返回true。
     * @param maxExpireTime 最大的檢查時間。
     * @param taskName 任務名稱。
     * @return
     */
    public boolean isValidMachine(long maxExpireTime, String taskName) {
        boolean isValid = false;
        try {
            //通過taskName去數據庫中查找到該條記錄, 如果大家使用的是mybatis這裏需要改一下, 就是一個簡單的查詢操作
            ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
            int execute = carIndexEntity.getExecute();
            String ip = InetAddress.getLocalHost().getHostAddress();
            long currentTimeMillis = System.currentTimeMillis();
            long time = carIndexEntity.getUpdateTime().getTime();
            if (execute == 0 && time + maxExpireTime - 1000 < currentTimeMillis) {
                isValid = checkMachine(taskName, carIndexEntity, ip);
            } else if (time + maxExpireTime - 1000 < currentTimeMillis){
                //這裏要判斷下, 如果上一次執行出現異常導致execute沒有更新為0, 那麽這裏要判斷上一次更新時間的間隔。
                isValid = checkMachine(taskName, carIndexEntity, ip);
            }
        } catch (UnknownHostException e) {
            e.printStackTrace();
        }
        return isValid;
    }

    /**
     * end方法主要是將excute(是否正在執行的標誌位,0:沒有執行, 1:正在執行)更新為0
     * @param taskName
     * @return
     */
    public boolean end (String taskName) {
        ScheduleClusterEntity carIndexEntity = scheduleClusterEntityService.findOne(ScheduleClusterEntity.Fields.taskName.eq(taskName));
        //將execute狀態更新為0
        return scheduleClusterEntityService.end(carIndexEntity);
    }

    private boolean checkMachine(String taskName, ScheduleClusterEntity carIndexRefresh, String ip) {
        return scheduleClusterEntityService.start(taskName, carIndexRefresh.getVersion(), ip);
    }

    @Autowired
    public void setScheduleClusterEntityService(ScheduleClusterEntityService scheduleClusterEntityService) {
        this.scheduleClusterEntityService = scheduleClusterEntityService;
    }
}

這裏還有start方法, 看看怎樣的操作:

@Repository
public class DefaultScheduleClusterEntityDao extends AbstractDao<ScheduleClusterEntity> implements ScheduleClusterEntityDao {
    @Override
    public boolean start(String taskName, int version, String ip) {
        String sql = "update t_schedule_cluster set execute = 1, " +
                "version = ?, execute_ip = ?, update_time = ?" +
                " where task_name = ? and version = ?";
        Sql s = new Sql(sql);
        s.addParam(version + 1);
        s.addParam(ip);
        s.addParam(SqlTimeUtils.nowTimestamp());
        s.addParam(taskName);
        s.addParam(version);
        return 1 == executeUpdate(s);
    }
}

核心的代碼到了這裏就沒有了, 代碼確實是非常非常的簡單, 有興趣的話大家可以在本地測試一下就可以。
當然還有更多很好地解決方案, 我這裏秉承的是最簡單的處理方式, 如果大家對我這個方案有疑問或者做的不好的地方都希望大家能夠提出來, 謝謝了, 最後貼上兩個其他的解決方案:
Java通過redis管理你的集群定時任務:http://www.jianshu.com/p/48c5b11b80cd
Quartz在Spring中集群: http://sundoctor.iteye.com/blog/486055

Java應用集群下的定時任務處理方案(mysql)