2. 程式人生 > >問題定位分享（9）oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer

問題定位分享（9）oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer

阿新 • • 發佈：2018-12-12

oozie中支援很多的action型別，比如spark、hive，對應的標籤為：

<spark xmlns="uri:oozie:spark-action:0.1"> 

...

oozie中sharelib用於存放每個action型別需要的依賴，可以檢視當前所有的action型別以及每個action型別的依賴

oozie admin -shareliblist
[Available ShareLib]
hive
sparkbak
distcp
mapreduce-streaming
spark
oozie
hcatalog
hive2
sqoop
pig

 

oozie admin -shareliblist spark

...

上述報錯是由於oozie中spark依賴裡的kafka基礎依賴缺少kafka-clients-0.8.2.2.jar，將jar上傳到sharelib目錄，然後手動更新即可

oozie admin -sharelibupdate

更新之後可見：

 oozie admin -shareliblist spark|grep kafka
        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/kafka-clients-0.8.2.2.jar


        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/kafka_2.11-0.8.2.1.jar
        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/spark-streaming-kafka-0-8_2.11-2.1.0.jar 

新增成功

相關推薦

問題定位分享（9）oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer

oozie中支援很多的action型別，比如spark、hive，對應的標籤為： <spark xmlns="uri:oozie:spark-action:0.1">  ... oozie中sharelib用於存放每個action型別需要的依賴，可以檢視當前所有的acti

經驗分享（5）oozie提交spark任務如何新增依賴

spark任務新增依賴的方式： 1 如果是local方式執行，可以通過--jars來新增依賴； 2 如果是yarn方式執行，可以通過spark.yarn.jars來新增依賴； 這兩種方式在oozie上都行不通，首先oozie上沒辦法也不應該通過local執行，其次通過spark.yarn.jars方式配

Spark升級到2.0後測試stream-kafka測試報java.lang.NoClassDefFoundError: org/apache/spark/Logging錯誤

- 最近從Spark 1.5.2升級到2.0之後，執行測試程式碼spark-stream-kafka報以下錯誤： java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLo

DRP問題集結（一）-Tomcat無法啟動,報錯java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory

       最近一直在做DRP，也是我進入Java學習第一次以專案來實踐，遇到過很多問題，但總的來說與.net對照來看，它其他和C#非常相似，從開始java開始，對於語言的膽怯沒有了，真

spark submit提交任務報錯Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/stream

1.問題描述 提交spark任務： bin/spark-submit --master local[2] \ --class _0924MoocProject.ImoocStatStreamingApp_product \ /opt/datas/project/scala

問題定位分享（2）spark任務一定機率報錯java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT

用yarn cluster方式提交spark任務時，有時會報錯，報錯機率是40%，報錯如下：   18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.A

經驗分享（6）Oozie如何檢視提交到Yarn上的任務日誌

通過oozie job id可以檢視流程詳細資訊，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W   流程詳細資訊如下： Job ID : 0012077-180830142722522

問題定位分享（12）Spark儲存文字型別檔案（text、csv、json等）到hdfs時為什麼是壓縮格式的

問題重現 rdd.repartition(1).write.csv(outPath) 寫檔案之後發現檔案是壓縮過的   write時首先會獲取hadoopConf，然後從中獲取是否壓縮以及壓縮格式 org.apache.spark.sql.execution.datasource

【原創】問題定位分享（17）spark查orc格式資料偶爾報錯NullPointerException

spark查orc格式的資料有時會報這個錯 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits(OrcInputFo

【原創】問題定位分享（21）spark執行insert overwrite非常慢，比hive還要慢

最近把一些sql執行從hive改到spark，發現執行更慢，sql主要是一些insert overwrite操作，從執行計劃看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select * from

問題定位分享（1）HBase RegionServer頻繁掛掉

最近hbase叢集很多region server掛掉，檢視其中一個RegionServer1日誌發現，17:17:14掛的時候伺服器壓力很大，有大量的responseTooSlow，也有不少gc，但是當時記憶體還有很多剩餘，不是因為oom被kill   2018-03-13T17:17:13.3

經驗分享（9）yarn重要配置yarn.nodemanager.local-dirs

yarn中有一個比較重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在飽和狀態執行下叢集會出現很多問題：1 預設配置${hadoop.tmp.dir}/nm-local-dir，系統盤通常只有幾百G，配置在這裡會經常報磁碟空間不足的錯誤；2 配置到其中1個數據盤，比如/dat

【原創】問題定位分享（15）Context namespace element 'component-scan' and its parser class [org.springframework.context.annotation.ComponentScanBeanDefinit

今天嘗試執行一個古老的工程，配置好之後編譯通過，結果執行時報錯： org.springframework.beans.factory.BeanDefinitionStoreException: Unexpected exception parsing XML document from class p

【原創】大叔問題定位分享（30）mesos agent啟動失敗：Failed to perform recovery: Incompatible agent info detected

cpp 方法 fail mesos perf mes inf for cut mesos agent啟動失敗，報錯如下： Feb 15 22:03:18 server1.bj mesos-slave[1190]: E0215 22:03:18.622994 1192 sl

【原創】大叔經驗分享（38）beeline連接hiveserver2報錯impersonate

anon hdfs sts 經驗分享 property could could not val sta beeline連接hiveserver2報錯 Error: Could not open client transport with JDBC Uri: jdbc:hi

SpringMVC-FAQ（2）：java.lang.NoClassDefFoundError: org/springframework/core/env/EnvironmentCapa

·（1）看Log： java.lang.NoClassDefFoundError: org/springframework/core/env/ConfigurableEnvironment at java.lang.Class.getDeclaredConstructors

IDEA裡執行程式碼時出現Caused by: java.lang.ClassNotFoundException: org.apache.log4j.Logger的解決辦法（圖文詳解）

　　不多說，直接上乾貨！  問題詳情 　　執行出現log4j的問題 "C:\Program Files\Java\jdk1.8.0_66\bin\java" -Didea.launcher.port=7533 "-Didea.launcher.bin.path=D:\Soft

配置shiro ehcache 出現這個異常,（未解決） java.lang.NoClassDefFoundError: org/terracotta/statistics/StatisticsManager

pro shiro edi tps 多個 ppc 導入 XML 默認 參考 https://www.cnblogs.com/zfding/p/8536480.html Caused by: org.springframework.beans.FatalBeanExcept

Spark-HBase集成錯誤之 java.lang.NoClassDefFoundError: org/htrace/Trace

獲取 nod loader cal adc 標註 launcher targe gin 在進行Spark與HBase 集成的過程中遇到以下問題： java.lang.IllegalArgumentException: Error while instantiati

【原創】經驗分享（12）如何程式化kill提交到spark thrift上的sql

spark 2.1.1   hive正在執行中的sql可以很容易的中止，因為可以從console輸出中拿到當前在yarn上的application id，然後就可以kill任務， WARNING: Hive-on-MR is deprecated in Hive 2 and may no