2. 程式人生 > >elastic-job使用及過程中遇到的問題

elastic-job使用及過程中遇到的問題

阿新 • • 發佈：2019-01-09

以前的公司專案分散式排程用的兩種方式，一是通過配置檔案進行分割槽，一是用阿里的一個dtss控制元件；配置檔案的方式就不說了，比較挫；而阿里的dtss控制元件存在問題，而且該控制元件也已經停止維護更新（別的控制元件又要收錢）。
所以找到了這個elastic-job，目前只用到了其中的SimpleJob，後續的再更新。。。

官方文件

使用

簡單介紹：

這個框架的任務分派，簡單來說就是，通過zookeeper知道線上總共有多少臺執行機器，然後把分片平均分到線上的機器上，而每次機器的上線、下線都會觸發分片的重新分配。
而分片其實就是數字，數字將平均分配到幾臺機器上，例如：
設定總分片數為4片（0，1，2，3總共4個分片），線上2臺機器，機器A可能被分配到0、1兩個數字，機器B被分配到2、3兩個數字，然後就可以根據這個被分配到的數字進行任務劃分。

依賴新增：

<!-- 引入elastic-job-lite核心模組 -->
<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>elastic-job-lite-core</artifactId>
    <version>2.1.5</version>
</dependency>
<!-- 使用springframework自定義名稱空間時引入 -->
<dependency>
    <groupId
 
>com.dangdang</groupId>
    <artifactId>elastic-job-lite-spring</artifactId>
    <version>2.1.5</version>
</dependency>

實現類：

    public class TestJob implements SimpleJob{

        private Logger logger = LoggerFactory.getLogger(TestJob.class);

        @Override
 

        public void execute(ShardingContext shardingContext) {
            // 分片數字以及作業的一些資訊都在ShardingContext這個類中
            logger.info(...);
        }
    }

啟動方法：

有兩種啟動方式：程式碼啟動和配置檔案載入啟動，

程式碼啟動：

    // 啟動方法
    public void init(){
        new JobScheduler(getRegistryCenter(), getJobConfiguration()).init();
    }

    // 配置zookeeper連線資訊，以及進行連線
    public CoordinatorRegistryCenter getRegistryCenter() {
        // 連線Zookeeper伺服器的列表,包括IP地址和埠號,多個地址用逗號分隔,如: host1:2181,host2:2181
        // Zookeeper的名稱空間
        CoordinatorRegistryCenter regCenter = new ZookeeperRegistryCenter(new ZookeeperConfiguration(zookeeperIps, zookeeperNamespace));
        regCenter.init();
        return regCenter;
    }

    // 配置job的資訊
    public LiteJobConfiguration getJobConfiguration(){
        // 定義作業核心配置
        JobCoreConfiguration simpleCoreConfig = getJobCoreConfiguration();
        // 定義SIMPLE型別配置
        SimpleJobConfiguration simpleJobConfig = getSimpleJobConfiguration(simpleCoreConfig);
        // 定義Lite作業根配置
        LiteJobConfiguration simpleJobRootConfig = getLiteJobConfiguration(simpleJobConfig);

        return simpleJobRootConfig;
    }

    // 定義作業核心配置
    public JobCoreConfiguration getJobCoreConfiguration(){
        // 分片總數
        int shardingTotalCount = 10;
        return JobCoreConfiguration.newBuilder("任務名稱", "cron表示式", shardingTotalCount ).jobParameter("作業引數").shardingItemParameters("分片引數").build();
    }

    // 定義SIMPLE型別配置
    public SimpleJobConfiguration getSimpleJobConfiguration(JobCoreConfiguration simpleCoreConfig){
        // job實現類名字需要寫全名
        return new SimpleJobConfiguration(simpleCoreConfig, SimpleJob.getClass().getCanonicalName());
    }

    // 定義Lite作業根配置
    public LiteJobConfiguration getLiteJobConfiguration(SimpleJobConfiguration simpleJobConfig){
        // overwrite：本地配置是否可覆蓋註冊中心配置
        // jobShardingStrategyClass：分片策略
        return LiteJobConfiguration.newBuilder(simpleJobConfig).overwrite(isOverwrite).jobShardingStrategyClass(OdevitySortByNameJobShardingStrategy.class.getCanonicalName()).build();
    }

配置檔案啟動：

當載入該檔案的時候，就啟動其中任務排程

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:reg="http://www.dangdang.com/schema/ddframe/reg"
       xmlns:job="http://www.dangdang.com/schema/ddframe/job"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://www.dangdang.com/schema/ddframe/reg
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd
                        http://www.dangdang.com/schema/ddframe/job
                        http://www.dangdang.com/schema/ddframe/job/job.xsd
                        ">

    <!--配置作業註冊中心 -->
    <reg:zookeeper id="regCenter"
                   server-lists="1.1.1.1:2181,2.2.2.2:2181"
                   namespace="Zookeeper的名稱空間"
                   base-sleep-time-milliseconds="1000"
                   max-sleep-time-milliseconds="3000"
                   max-retries="3"
    />

    // 實現類，需要實現指定介面
    <bean id="simpleJob" class="xxx.SimpleJob">

    </bean>

    <!-- 配置關聯Bean作業-->
    <job:simple id="simpleRefElasticJob"
                overwrite="true"
                job-parameter="2"
                sharding-item-parameters="0=A,1=B"
                job-ref="simpleJob"
                registry-center-ref="regCenter"
                cron="0/59 * * * * ?"
                sharding-total-count="64"
                job-sharding-strategy-class="com.dangdang.ddframe.job.lite.api.strategy.impl.OdevitySortByNameJobShardingStrategy"
    />
</beans>

注意項

程式碼啟動中，實現類的execute方法中不能使用spring注入的物件：

elastic-job是封裝的quartz框架，這個特性也存留下來，execute方法中只能用static物件

    @Service
    public class TestJob implements SimpleJob{

        private Logger logger = LoggerFactory.getLogger(TestJob.class);

        @Autowired
        private TestService testService;

        private static TestService staticTestService;

        // 啟動前，需要呼叫該方法初始化static物件
        public void init(){
            staticTestService = testService;
        }

        @Override
        public void execute(ShardingContext shardingContext) {
            // 分片數字以及作業的一些資訊都在ShardingContext這個類中
            logger.info(...);

            // 日誌輸出為：true
            logger.info(testService == null);

            // 日誌輸出為：false
            logger.info(staticTestService == null);
        }
    }

需要注意的配置：

overwrite：

overwrite
預設為false，如果為false的話，第一次啟動的時候，會在zookeeper中儲存了一份作業資訊（排程時間、引數等），後面即使修改了作業資訊，無論重新啟動服務或者zookeeper，還是會使用第一次啟動時候的作業資訊（根據作業名字）。
因此需要設為true，這樣每次啟動，作業資訊都會覆蓋zookeeper中的儲存的配置資訊，這樣可以保證修改了配置資訊可以馬上使用。

分片策略：

根據文件介紹，OdevitySortByNameJobShardingStrategy這個比預設的策略好

啟動的時候可能連不上zookeeper

服務原來就有用dubbo，dubbo這邊每次都可以連上zookeeper，但是elastic-job經常出現啟動的時候連不上zookeeper的，需要啟多幾次，也可以把zookeeper的最大重連次數（max-retries）設定大點

實際應用中遇到的問題

依賴衝突：

Exception in thread "main" org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'com.dangdang.ddframe.job.lite.spring.api.SpringJobScheduler#0': Invocation of init method failed; nested exception is java.lang.NoSuchMethodError: org.apache.curator.framework.api.CreateBuilder.creatingParentsIfNeeded()Lorg/apache/curator/framework/api/ProtectACLCreateModePathAndBytesable;
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1628)
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:555)
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:483)
        at org.springframework.beans.factory.support.AbstractBeanFactory$1.getObject(AbstractBeanFactory.java:306)
        at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:230)
        at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:302)
        at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:197)
        at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:761)
        at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:866)
        at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:542)
        at org.springframework.context.support.ClassPathXmlApplicationContext.<init>(ClassPathXmlApplicationContext.java:139)
        at org.springframework.context.support.ClassPathXmlApplicationContext.<init>(ClassPathXmlApplicationContext.java:93)
        at crm.app.logistics.LogisticsAppMain.main(LogisticsAppMain.java:44)
Caused by: java.lang.NoSuchMethodError: org.apache.curator.framework.api.CreateBuilder.creatingParentsIfNeeded()Lorg/apache/curator/framework/api/ProtectACLCreateModePathAndBytesable;
        at com.dangdang.ddframe.job.reg.zookeeper.ZookeeperRegistryCenter.persist(ZookeeperRegistryCenter.java:218)
        at com.dangdang.ddframe.job.lite.internal.storage.JobNodeStorage.replaceJobNode(JobNodeStorage.java:160)
        at com.dangdang.ddframe.job.lite.internal.config.ConfigurationService.persist(ConfigurationService.java:72)
        at com.dangdang.ddframe.job.lite.internal.schedule.SchedulerFacade.updateJobConfiguration(SchedulerFacade.java:103)
        at com.dangdang.ddframe.job.lite.api.JobScheduler.init(JobScheduler.java:105)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.invokeCustomInitMethod(AbstractAutowireCapableBeanFactory.java:1758)
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.invokeInitMethods(AbstractAutowireCapableBeanFactory.java:1695)
        at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1624)
        ... 12 more

後面經過排除，發現是依賴衝突的問題，原來專案中有用到阿里的dtss控制元件，裡面有依賴到一個jar包：org.apache.curator，elastic-job框架也用到了，然後版本不一樣導致了依賴衝突。

相關文件

運維平臺安裝部署

1.編譯jar包

就是編譯的時候用的是1.8的jdk編譯的時候，報了異常：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.10.3:jar (attach-javadocs) on project elastic-job-lite-lifecycle: MavenReportException: Error while generating Javadoc: 
[ERROR] Exit code: 1 - ????: ???E:\maven-repository\org\codehaus\jettison\jettison\1.1\jettison-1.1.jar?????; error in opening zip file
[ERROR] 
[ERROR] Command line was: D:\java\jdk1.8.0_181\jre\..\bin\javadoc.exe @options @packages
[ERROR] 
[ERROR] Refer to the generated Javadoc files in 'E:\zwh\elastic-job-lite-dev\elastic-job-lite-lifecycle\target\apidocs' dir.
[ERROR] 
[ERROR] -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
[ERROR] 
[ERROR] After correcting the problems, you can resume the build with the command
[ERROR]   mvn <goals> -rf :elastic-job-lite-lifecycle

看pom檔案中，該專案原來用的是1.7版本的jdk，後面用了1.7的版本但是還是報這個錯，應該小版本不對，後面直接把pom中的javadoc相關的配置注掉後，就可以正常編譯了（1.8也可以）：

/* 把下面程式碼注掉
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-javadoc-plugin</artifactId>
    <executions>
        <execution>
            <id>attach-javadocs</id>
            <goals>
                <goal>jar</goal>
            </goals>
        </execution>
    </executions>
    <configuration>
        <aggregate>true</aggregate>
        <charset>${project.build.sourceEncoding}</charset>
        <encoding>${project.build.sourceEncoding}</encoding>
        <docencoding>${project.build.sourceEncoding}</docencoding>
    </configuration>
</plugin>
*/

2.啟動

在伺服器上啟動的，需要長期存活，這樣啟動不會退出伺服器就關掉

nohup sh ${PROJECT_NAME}/elastic-job-lite-console-3.0.0.M1-SNAPSHOT/bin/start.sh -p 30001 &

相關推薦

elastic-job使用及過程中遇到的問題

以前的公司專案分散式排程用的兩種方式，一是通過配置檔案進行分割槽，一是用阿里的一個dtss控制元件；配置檔案的方式就不說了，比較挫；而阿里的dtss控制元件存在問題，而且該控制元件也已經停止維護更新（別的控制元件又要收錢）。 所以找到了這個elast

使用selenium爬取機構化的資料及過程中遇到的問題總結

pattern = r'<div class="l-grid-row-cell-inner" style="width:112px;height:22px;min-height:22px; ">(.*?)</div>.*?<div class="l-grid-row-ce

老牛知點所以然-Linux（Ubuntu）配置安卓開發環境及過程中常見問題解決

[TOC] 題記： 這篇部落格基本上是半年多實踐過程中積累到筆記中的。在第二次配置完開發環境後，我就有意識的把大概的配置過程形成了一個筆記，這半年多將近一年的時間裡，陸續發現了一些不足和謬誤，還有以前踩過的坑沒有及時記下來，最近又踩過的，逐漸補充了過來，算是

centos環境升級glibc到2.17及過程中遇到的問題

動態加載 gcc figure require libc 自己 mkdir 時報 開發 升級glibc到2.17及出現的問題 開發要求libc庫最低是2.17，但是我這個是2.12的，當然不能用了，還好，gcc 4.8.5的，直接用來編譯升級就好了。 開始前 執行程序的時候

gerrit安裝配置及過程中遇到的問題

（文章來源： http://blog.csdn.net/ljchlx/article/details/22277311） 小注解： 本文所使用的關於apache的配置設定是基於apache2.2的，因此部分設定與apache 2.3/2.4稍有不同. 例如：       

Zabbix3.2.1安裝配置及過程中遇到的問題說明

Zabbix是一款開源得監控軟體，我們可以根據自己的需要下載原始碼並對其二次開發以達到我們想要的功能。 下面說一下zabbix的原始碼安裝的步驟和安裝過程中遇到的問題以及解決辦法。 zabbix安裝完成後中文支援的配置，fping的支援，以及一些其他外掛

關於Linux系統安裝oracle資料庫的準備工作及安裝過程中所遇問題

        新年過後第一天比較輕鬆，就試著在linux系統上安裝oracle，發現坑還挺多，所以記錄一下供人蔘考。以下是基於我本人安裝的centos6.6系統安裝的oracle，也有參考網上一些資料，可能不適用於一部分人員，請諒解。安裝前請提前下載好oracle資料庫的安

Nginx 安裝過程中遇到的一些問題及解決方法

requires nbsp margin req 命令 裝包 ... check sbin 一、安裝 獲取安裝包： wget http://nginx.org/download/nginx-1.11.5.tar.gz 解壓安裝包： tar -zxvf nginx-1.11

開過程中遇到的問題及解決

extends sql out error .html date 模式 ring clu 1.log 打印異常信息 Logger logger = Logger.getLogger(LoggerTest.class); //追蹤產生此日誌的類 Logger extend

LoadRunner接口腳本編寫過程中遇到的問題及分享

所有 其中 系統 post方法 等於 打印日誌 腳本 adr ner 工作中需要接口測試，報文編輯器一條條手工發費時費力，因此考慮利用web_submit_data函數POST方法進行報文編輯。在報文編輯中主要遇到了三個問題，其中一個問題耗時兩天查到問題所在，在這裏與大

LoadRunner接口腳本web_submit_data編寫過程中遇到的問題及分享

排查 adr 奮鬥 如果 所在 方法 val xmla 模式 工作中需要接口測試，報文編輯器一條條手工發費時費力，因此考慮利用web_submit_data函數POST方法進行報文編輯。在報文編輯中主要遇到了三個問題，其中一個問題耗時兩天查到問題所在，在這裏與大家一塊分

SQL中in參數在存儲過程中傳遞及使用的方法

str pro let 字符 spl eva lec creat create 背景： 1、使用存儲過程 2、存儲過程中有in 3、in括號裏面的內容作為參數傳遞 解決方案： 1、直接拼接sql 可在存儲過程中拼接字符串，然後執行此字符串，類似於js中的eval PROC

Selenium TestNG Java環境搭建過程中所遇問題匯總

fin method 搭建過程 onf 9.png 未在 can ann ogr 【問題一】運行時報Unalbe to connect to host 127.0.0.1 on port 7855 【問題分析】Selenium版本與火狐版本不一致，需要下載對應的版本 【

(轉)CloudStack 安裝及使用過程中常見問題匯總

文件 -m 如何解決 req 連接 dst man span 取ip CloudStack 安裝及使用過程中常見問題匯總 在做工程項目中對CloudStack 安裝及使用過程中常見的幾個問題及如何解決做一個總結。 1、Windows XP虛擬機

配置BGP 過程中最容易出現的問題。及解決方案！

解決方法 在配置過程中最容易出現的問題！ 往往是很簡單、很容易的問題，我們大家常常會忽略， 在配置過程中容易把配置中 peer 192.168.34.4 as-number 64513 配置成65413。 解決方案：在R3或R4中開啟debugging

Spring Boot(3)：加載DataSource過程的源碼分析及yml中DataSource的配置

conf apache JD asi 其中 ase providers ram nconf Spring Boot實現了自動加載DataSource及相關配置。當然，使用時加上@EnableAutoConfiguration註解是必須的。下面就是對這一部分的源碼分析。 （1

二.JSP開發過程中遇到的問題及解決

java 告訴 概率 share 回車 命令 left wid 應用 轉載自：http://www.cnblogs.com/leftshine/p/5238001.html 一.開發環境問題 問題一:Failed to load the JNI shared library

java學習過程中遇到的坑及解決方法

param bsp exception log 導入 學習 query data zha 1、 Table ‘my_data_base.gjp_zhangwu‘ doesn‘t exist Query: select * from gjp_zhangwu Parameter

安裝netmeeting及安裝過程中遇到的問題

 netmeeting安裝包和補丁 載地址：http://download.csdn.net/source/1799329 1.開啟安裝包找到Netmeeting-kb927853-x86-enu.msi檔案雙擊安裝 2.點選“Windows NetMeeting

Window系統tesseract+tesserocr過程中，發生的一系列問題及解決辦法（已解決）

在Windows下安裝tessocr，首先需要下載tesseract，它為tesserocr提供了支援。 tesseract下載地址：https://digi.bib.uni-mannheim.de/tesseract/ 進入下載頁面，可以看到有各種.exe檔案的下載列表，這裡可以選擇下載3