1. 程式人生 > >基於Spark的Hive程式設計中,“Error:(8, 37) java: 程式包org.apache.spark.sql.api.java不存在”的解決辦法

基於Spark的Hive程式設計中,“Error:(8, 37) java: 程式包org.apache.spark.sql.api.java不存在”的解決辦法

依賴Spark 1.2.0中的jar包程式設計時會出現這個問題,雖然這個Spark版本已較舊,但一些在舊的平臺上開發的人,可能還會遇到這個問題,因此將問題的解決辦法寫在這裡。

報的錯誤如下圖所示:


其實問題很簡單,原因就在於spark-assembly-1.2.0-hadoop2.4.0.jar這個jar包有問題。這個包實際是由org.apache.spark等許多小的package構成,這些package中至少一部分可以單獨下載得到。上面所報錯誤中的類存在於spark-hive_2.10-1.2.0.jar和spark-sql_2.10-1.2.0.jar中,這兩個jar包可分別從下面兩個連結下載:

把這兩個jar包新增到依賴中,重新編譯就沒問題了。