1. 程式人生 > >apache beam ElasticSearchIO 遇到異常後job中斷執行 自己定制beam IO

apache beam ElasticSearchIO 遇到異常後job中斷執行 自己定制beam IO

end clas pos google sea http elastics XML auto

可以將 ElasticSearchIO.java 源碼拷貝至自己的項目。改名為MyElasticSearchIO.java。自己定制實現。這時編譯會遇到auto.value失敗。在pom.xml中加入如下依賴:

    <!-- googles -->
    <!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value -->
<dependency>
    <groupId>com.google.auto.value</groupId>
    <
artifactId>auto-value</artifactId> <version>1.6.3</version> <scope>provided</scope> </dependency> <!-- https://mvnrepository.com/artifact/com.google.guava/guava --> <dependency> <groupId>com.google.guava</groupId> <
artifactId>guava</artifactId> <version>27.0.1-jre</version> </dependency>

報錯是在flushBatch裏面的checkForErrors出現。

apache beam ElasticSearchIO 遇到異常後job中斷執行 自己定制beam IO