1. 程式人生 > >spark submit中沒有找到hbase中的*/hbase/client/put類的解決辦法

spark submit中沒有找到hbase中的*/hbase/client/put類的解決辦法

在Eclipse或者IDEA中進行spark與hbase聯接操作時,都沒有錯誤,然後發現當進行spark-submit提交的時候,卻發現找不到hbase庫的問題。

如截圖所示。

這個問題的核心肯定是找不到hbase相應的庫。開啟輸出給spark進行呼叫的JAR包,發現hbase也包含在裡面,但是為什麼會訪問不到這個包呢。

終於在網上找了相關的問題,發現這是由於hadoop無法訪問到hbase相應的lib的問題,所以需要設定一下classpath,就可以解決。最簡單的方式就是

export spark_classpath中把hbase相對應的lib新增即可。