2. 程式人生 > >quartz在叢集環境下的最終解決方案

quartz在叢集環境下的最終解決方案

阿新 • • 發佈：2019-01-23
      最近專案中使用了spring+Quartz定時任務、但是專案最近要叢集部署、多個APP下如何利用Quartz 協調處理任務。
      大家可以思考一下、現在有 A、B、C三個應用同時作為叢集伺服器對外統一提供服務、每個應用下各有一個Quartz、它們會按照既定的時間自動執行各自的任務。我們先不說實現什麼功能，就說這樣的架構其實有點像多執行緒。那多執行緒裡就會存在“資源競爭”的問題，即可能產生髒讀，髒寫，由於三臺 應用 裡都有 Quartz，因此會存在重複處理 任務 的現象。
      解決方案一：只在一臺 應用 上裝 Quartz，其它兩臺不裝，這樣叢集就沒有意義了。
      解決方案二：使用其實Quartz自身可以例項化資料庫的特性就可以解決問題

本方案優點：
1.     每臺作為叢集點的 應用上都可以佈署 Quartz ；
2.     Quartz 的 TASK （ 12 張表）例項化如資料庫，基於資料庫引擎及 High-Available 的策略（叢集的一種策略）自動協調每個節點的 QUARTZ ，當任一一節點的 QUARTZ 非正常關閉或出錯時，另幾個節點的 QUARTZ 會自動啟動；
3.    無需開發人員更改原已經實現的 QUARTZ ，使用 SPRING+ 類反射的機制對原有程式作切面重構；
解決方案：
   1:去官網下載最新的 quartz 解壓 在目錄 docs\dbTables 下就會找到 tables_mysql.sql  檔案、建立資料庫Quartz 並匯入資料庫。

 
  2：生成 quartz.properties 檔案，把它放在工程的 src 目錄下 修改配置檔案如下：
  1. #==============================================================    
  2. #Configure Main Scheduler Properties    
  3. #==============================================================     
  4. org.quartz.scheduler.instanceName = quartzScheduler  
  5. org.quartz.scheduler.instanceId = AUTO  
  6. #==============================================================    
  7. #Configure ThreadPool    
  8. #==============================================================   
  9. org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool  
  10. org.quartz.threadPool.threadCount = 10  
  11. org.quartz.threadPool.threadPriority = 5  
  12. org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true 
  13. #==============================================================    
  14. #Configure JobStore    
  15. #==============================================================   
  16. org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX  
  17. org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate  
  18. org.quartz.jobStore.tablePrefix = QRTZ_  
  19. org.quartz.jobStore.isClustered = true  
  20. org.quartz.jobStore.clusterCheckinInterval = 20000    
  21. org.quartz.jobStore.dataSource = myDS  
  22. #==============================================================    
  23. #Configure DataSource     （此處填你自己的資料庫連線資訊）
  24. #==============================================================   
  25. org.quartz.dataSource.myDS.driver = com.mysql.jdbc.Driver  
  26. org.quartz.dataSource.myDS.URL = jdbc\:mysql\://localhost\:3306/quartz?useUnicode\=true&characterEncoding\=UTF-8  
  27. org.quartz.dataSource.myDS.user = root  
  28. org.quartz.dataSource.myDS.password = 123  
  29. org.quartz.dataSource.myDS.maxConnections =30  
複製程式碼 3：重寫 quartz 的 QuartzJobBean 類 
原因是在使用 quartz+spring 把 quartz 的 task 例項化進入資料庫時，會產生： serializable 的錯誤，原因在於：
這個 MethodInvokingJobDetailFactoryBean 類中的 methodInvoking 方法，是不支援序列化的，因此在把 QUARTZ 的 TASK 序列化進入資料庫時就會拋錯。網上有說把 SPRING 原始碼拿來，修改一下這個方案，然後再打包成 SPRING.jar 釋出，這些都是不好的方法，是不安全的。
必須根據 QuartzJobBean 來重寫一個自己的類 。
BootstrapJob.java: 引導Job，通過Spring容器獲取任務的Job，根據注入的targetJob,該Job必須實現Job2介面
  1. /**
  2. * 引導Job，通過Spring容器獲取任務的Job，根據注入的targetJob,該Job必須實現Job2介面
  3. * @author zzp
  4. * @date 2014-7-7
  5. */
  6. public class BootstrapJob implements Serializable{
  7.         private String targetJob ; 
  8.         public void executeInternal(ApplicationContext cxt) {
  9.                 Job2 job = (Job2)cxt.getBean(this.targetJob);
  10.                 job.executeInternal() ;
  11.         }
  12.         public String getTargetJob() {
  13.                 return targetJob;
  14.         }
  15.         public void setTargetJob(String targetJob) {
  16.                 this.targetJob = targetJob;
  17.         }
  18. }
複製程式碼 Job2.java:

  1. /**
  2. * Quartz 與 Spring 整合時，自定義的Job可以擁有Spring的上下文，
  3. * 因此定義了該介面，自定義的Job需要實現該介面，並實現executeInternal的task，
  4. * 這樣解決了Quartz 與Spring 在叢集環境下，可以不需要序列化，
  5. * 只需要在executeInternal獲取Spring 上下文中的target job bean.
  6. * 呼叫其相關的處理函式，來處理任務
  7. * @author zzp
  8. * @date 2014-7-7
  9. */
  10. public interface Job2 extends Serializable{
  11.         /**
  12.          * 處理任務的核心函式
  13.          * 
  14.          * @param cxt Spring 上下文
  15.          */
  16.         void executeInternal();
  17. }
複製程式碼 重寫 MethodInvokingJobDetailFactoryBean類 方法如下：


  1. <p>public void execute(JobExecutionContext context) throws JobExecutionException
  2.                 {
  3.                         try
  4.                         {
  5.                                 logger.debug("start");
  6.                                 String targetClass = context.getMergedJobDataMap().getString("targetClass");
  7.                                 //logger.debug("targetClass is "+targetClass);
  8.                                 Class targetClassClass = null;
  9.                                 if(targetClass!=null)
  10.                                 {
  11.                                         targetClassClass = Class.forName(targetClass); // Could throw ClassNotFoundException
  12.                                 }
  13.                                 Object targetObject = context.getMergedJobDataMap().get("targetObject");
  14.                                 if(targetObject instanceof BootstrapJob){
  15.                                         //Job2 job = (Job2)targetObject;
  16.                                         //job.executeInternal(context.getScheduler().getContext().)
  17.                                         ApplicationContext ac = (ApplicationContext)context.getScheduler().getContext().get("applicationContext");
  18.                                         BootstrapJob target = (BootstrapJob)targetObject ;
  19.                                         target.executeInternal(ac);
  20.                                 }else{
  21.                                         //logger.debug("targetObject is "+targetObject);
  22.                                         String targetMethod = context.getMergedJobDataMap().getString("targetMethod");
  23.                                         //logger.debug("targetMethod is "+targetMethod);
  24.                                         String staticMethod = context.getMergedJobDataMap().getString("staticMethod");
  25.                                         //logger.debug("staticMethod is "+staticMethod);
  26.                                         Object[] arguments = (Object[])context.getMergedJobDataMap().get("arguments");
  27.                                         //logger.debug("arguments are "+arguments);
  28.                                         //logger.debug("creating MethodInvoker");
  29.                                         MethodInvoker methodInvoker = new MethodInvoker();
  30.                                         methodInvoker.setTargetClass(targetClassClass);
  31.                                         methodInvoker.setTargetObject(targetObject);
  32.                                         methodInvoker.setTargetMethod(targetMethod);
  33.                                         methodInvoker.setStaticMethod(staticMethod);
  34.                                         methodInvoker.setArguments(arguments);
  35.                                         methodInvoker.prepare();
  36.                                         //logger.info("Invoking: "+methodInvoker.getPreparedMethod().toGenericString());
  37.                                         methodInvoker.invoke();
  38.                                 }
  39.                         }
  40.                         catch(Exception e)
  41.                         {
  42.                                 throw new JobExecutionException(e);
  43.                         }
  44.                         finally
  45.                         {
  46.                                 logger.debug("end");
  47.                         }
  48.                 }
  49.         }</p><p>
  50. </p>
複製程式碼 QuartzDeleteQueAction 任務類、一定要實現介面job2、只做參考。
  1. public class QuartzDeleteQueAction implements Job2 {
  2.         private static final long serialVersionUID = 1L;
  3.         private IQuesGroupService quesGroupService;
  4.         public void executeInternal(){     
  5.              LogUtil.jobInfo("Quartz的任務排程執行刪除教研組試題html檔案開始");
  6.              try {
  7.                      ServletContext context = ContextLoader.getCurrentWebApplicationContext().getServletContext();
  8.                  String pathHtml = context.getRealPath(Constants.PATH_HTML);
  9.                      //獲取被刪除試題No
  10.                      List<Object> list =  quesGroupService.queryDeleteQues();
  11.                      for(Object obj:list){
  12.                              String quesName = pathHtml+"ques_"+obj.toString()+".html";
  13.                              FileUtil.delFile(quesName);//刪除無用html檔案
  14.                      }
  15.                 } catch (Exception e) {
  16.                         e.printStackTrace();
  17.                 }
  18.             LogUtil.jobInfo("Quartz的任務排程執行刪除教研組試題html檔案結束");
  19.     }
  20.     public IQuesGroupService getQuesGroupService() {
  21.             return quesGroupService;
  22.     }
  23.     public void setQuesGroupService(IQuesGroupService quesGroupService) {
  24.             this.quesGroupService = quesGroupService;
  25.     }
  26. }
複製程式碼

4：配置 applicationContext-job.xml：


  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <beans xmlns="http://www.springframework.org/schema/beans"
  3.         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
  4.         xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
  5.         xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd
  6.             http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.0.xsd
  7.             http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.0.xsd
  8.             http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.0.xsd" default-autowire="byName" default-lazy-init="true">
  9.          <!-- 要呼叫的工作類 -->
  10.      <bean id="quartzJob" class="com.web.action.QuartzDeleteQueAction"></bean>
  11.      <!-- 引導Job -->
  12.          <bean id="bootstrapJob" class="com.acts.web.quartz.BootstrapJob">
  13.                 <property name="targetJob" value="quartzJob" />
  14.          </bean>
  15.          <!-- 重寫方法 -->
  16.          <bean id="jobTask" class="com.acts.web.quartz.MethodInvokingJobDetailFactoryBean">
  17.                 <property name="concurrent" value="true" />
  18.                 <property name="targetObject" ref="bootstrapJob" />
  19.          </bean>
  20.      <!-- 定義觸發時間 -->
  21.      <bean id="doTime" class="org.springframework.scheduling.quartz.CronTriggerBean">
  22.             <property name="jobDetail">
  23.                 <ref bean="jobTask"/>
  24.             </property>
  25.             <!-- cron表示式 -->
  26.             <property name="cronExpression">
  27.                 <!--5點到20點 每10分鐘一次排程 -->
  28.                 <value>0 0/10 5-20 * * ?</value>
  29.             </property>
  30.      </bean>
  31.         <!-- 總管理類 如果將lazy-init='false'那麼容器啟動就會執行排程程式 -->
  32.         <bean id="startQuertz" lazy-init="false" autowire="no" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
  33.             <property name="configLocation" value="classpath:quartz.properties" /> 
  34.             <property name="dataSource" ref="dataSourceQuartz" />
  35.             <property name="triggers">
  36.                 <list>
  37.                     <ref bean="doTime"/>
  38.                 </list>
  39.             </property>
  40.             <!-- 就是下面這句，因為該 bean 只能使用類反射來重構 -->
  41.             <property name="applicationContextSchedulerContextKey" value="applicationContext" /> 
  42.       </bean>
  43. </beans>
複製程式碼
叢集環境下測試：
      三個個節點都帶有 Quartz 任務，監控控制檯、此時只有一臺 quartz 在執行，另幾個節點上的 quartz 沒有執行。
      此時手動 停掉那臺執行 QUARTZ 過了 10分鐘左右，另一個節點的 quartz 自動監測到了叢集中執行著的 quartz 的 instance 已經 停掉 ，因此 quartz 叢集會自動把任一臺可用的 APP上啟動起一個 quartz job 的任務。
     至此 Quartz使用 叢集策略已經ok，不用改原有程式碼，配置一下我們就可做到 Quartz的叢集與自動錯誤冗餘。



所需jar包：quartz-all-1.6.6.jar   spring.jar  mysql-connector-java-3.1.11-bin.jar  commons-pool-1.3.jar  commons-logging-1.0.4.jar  commons-dbcp-1.2.1.jar 

相關推薦

Memcache叢集環境下快取解決方案

Memcache是一個高效能的分散式的記憶體物件快取系統，通過在記憶體裡維護一個統一的巨大的hash表，它能夠用來儲存各種格式的資料，包括影象、視訊、檔案以及資料庫檢索的結果等。簡單的說就是將資料呼叫到記憶體中，然後從記憶體中讀取，從而大大提高讀取速度。　　 一、在Linu

quartz叢集分散式(併發)部署解決方案

專案中使用分散式併發部署定時任務，多臺跨JVM，按照常理邏輯每個JVM的定時任務會各自執行，這樣就會存在問題，多臺分散式JVM機器的應用服務同時幹活，一個是加重服務負擔，另外一個是存在嚴重的邏輯問題，比如需要回滾的資料，就回滾了多次，剛好quartz提供很好的解決方案。

quartz在叢集環境下的最終解決方案

      最近專案中使用了spring+Quartz定時任務、但是專案最近要叢集部署、多個APP下如何利用Quartz 協調處理任務。      大家可以思考一下、現在有 A、B、C三個應用同時作為叢集伺服器對外統一提供服務、每個應用下各有一個Quartz、它們會按照既

分散式叢集環境下Session共享的簡單解決方案

關於Cookie和Session的功能與工作原理，在這裡我就不再敘述了，大家想要了解可以看一下我的上一篇部落格，講的還是很細緻的。 但是之前講的Session是執行在一臺伺服器上的，所有的訪問都會到達我們的唯一伺服器上，這樣我們可以根據客戶端傳來的sessionID，來獲取

web叢集環境下session問題得解決方案比較

叢集中session安全和同步是個最大的問題，下面是我收集到的幾種session同步的方案，希望能通過分析其各自的優劣找出其適應的場景。 1. 客戶端cookie加密 這是我以前採用的方式，簡單，高效。比較好的方法是自己採用cookie機制來實現一個session,在

quartz-scheduler叢集分散式(併發)部署解決方案-Spring

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in

U盤安裝CentOS7的最終解決方案

u盤安裝 發現 clas usb 設置 電腦 安裝 軟件 哪裏 U盤安裝CentOS7的最終解決方案 終於將CentOS7裝上筆記本了，過程無比艱辛，因為我發現網上大家提到的所有U盤安裝CentOS7時碰到的問題幾乎都被我碰到了，像什麽： 1.刻錄鏡像的時候只能刻

fatal error LNK1123: 轉換到 COFF 期間失敗: 文件無效或損壞 最終解決方案及VS10.12CLR選擇NET版本

mic c++ vs2008 soft globals oba target vs編譯 編譯 安裝多個VS 出現這個問題 fatal error LNK1123: 轉換到 COFF 期間失敗: 文件無效或損壞 。 VS2010和VS2012或者sv2008和VS2010，高

msdia80.dll文件出現在磁盤根目錄下的解決方案（轉）

磁盤 har mic http comm 管理員 ges sdi AMF 情況描述： 當安裝某些軟件後，磁盤根目錄中多出了msdia80.dll文件，該文件顯示為2006年12月1日，884KB。 原因： 　當使用64位操作系統時，在電腦上安裝 Micro

關於Hibernate懶加載問題的最終解決方案

ransac err work eth 功能 就會 過濾器 except 沒有 看到一篇Hibernate懶加載的文章，所以轉載，原地址如下： http://tuoxie007.iteye.com/blog/334853 Hibernate的強大之處之一是懶加載功能，可

Win10系統無法啟動的最終解決方案

window 操作系統電腦操作失誤導致系統無法啟動。分享一下Win10系統無法啟動的最終解決方案。操作步驟如下：1、首先需要準備一個Windows10安裝盤，只需將Windows10微軟原版鏡像寫入U盤即可。當然如果你沒有事先準備好的安裝盤的話，就需要找另外一臺電腦制作了。2、從U盤啟動，會出現下圖所示的界面

分布式環境 限流解決方案

OS 訪問 right -c 拒絕 key ews 可行性分析 聲明 業務背景介紹 對於web應用的限流，光看標題，似乎過於抽象，難以理解，那我們還是以具體的某一個應用場景來引入這個話題吧。 在日常生活中，我們肯定收到過不少不少這樣的短信，“雙11約嗎？，千款…

（手寫）mybatis 核心配置文件和接口不在同一包下的解決方案

內置 中間 configure idea pan 數據源配置 uil 基礎 主目錄 smart-sh-mybatis項目app.xml文件中此處配置為： 1 <!-- 從整合包裏找，org.mybatis:mybatis-spring:1.2.4 -->

環境監測系統解決方案

c4c oss 企業 數據 3.6 界面 雲服務平臺 and text 環境監測系統解決方案一、系統概要本綜合管控雲平臺是一套基於雲計算的物聯網綜合管控雲服務平臺。平臺可適配於各種物聯網應用系統，實時監控管理接入設備的狀態與運行情況，並對設備進行遠程操作，通過雲平臺對接物聯

挖礦病毒 qW3xT.2 最終解決方案

rop mod detail ios tail index $2 ashx hoc 轉自：https://blog.csdn.net/hgx13467479678/article/details/82347473 1，cpu 100%, 用top 查看cpu100

叢集環境下module載入模組與作業提交

叢集上已安裝了軟體，卻無法呼叫，許可權不足的情況下，往往管理賬戶會開放一個埠，讓我能夠只用module命令來載入相關軟體。 module使用 管理賬戶modules的安裝 sudo yum install -y environment-modules mo

hexo在https 域名下自動跳轉至http連結下的解決方案

問題描述： 之前本人的 hexo 站點是部署在 https 安全域名下的（https://walkerhuang.cn），當點選選單項的一些按鈕時（歸檔、分類、關於），突然提示找不到相關頁面，一看位址列連結變成了 http://walkerhuang.cn/archives/ ，當時通過

Redis叢集環境下的-RedLock(真分散式鎖) 實踐

在不同程序需要互斥地訪問共享資源時，分散式鎖是一種非常有用的技術手段。 有很多三方庫和文章描述如何用Redis實現一個分散式鎖管理器，但是這些庫實現的方式差別很大，而且很多簡單的實現其實只需採用稍微增加一點複雜的設計就可以獲得更好的可靠性。 這篇文章的目的就是嘗試提出一種官方權威的用Redis實現分散式鎖管理

EF跨庫查詢，DataBaseFirst下的解決方案

出於各種原因，有時需要跨資料庫訪問某些資料表，有同學已經給出瞭解決方案，比如  http://blog.csdn.net/hanjun0612/article/details/50475800 已經解決了code first 下跨資料庫訪問。但是如果已經是通過資料庫建立的模型用此方法。報錯xxxxx

spark叢集環境下使用hanlp進行中文分詞

標籤：zab table import shel – java standard mas tokenizer 1、將下載的hanlp-portable-1.6.2.jar複製到叢集spark/jar資料夾下面 2、啟動spark叢集 spark/bin/spark-shel