1. 程式人生 > >spark 安裝與執行

spark 安裝與執行

1.需要自己安裝一個sbt, spark 附帶的sbt不能用

2.$> sbt package

[error] import org.apache.spark.SparkContext_

[error]        ^
[error] one error found
[error] (compile:compile) Compilation failed

原因: org.apache.spark包不包含Context_類,估計是官方文件有錯誤,把這一行程式碼刪除即可

3.有必要裝$SPARK_HOME/assembly/target/scala_2.10/assembly/spark-assembly-0.91-hadoopxxx.jar 加入到 CLASSPATH