Spark 2.2.0 安裝與配置
阿新 • • 發佈：2017-11-18
mem p s template .sh org uri 文件 圖片 with
下載Spark
解壓並移動到/software目錄：
tar -zxvf spark-2.2.0-bin-without-hadoop.tgz
mv spark-2.2.0-bin-without-hadoop /software/spark在/etc/profile文件添加：
export SPARK_HOME=/software/spark
export PATH=$SPARK_HOME/sbin:$SPARK_HOME/bin:$PATH保存並更新/etc/profile：source /etc/profile
復制spark-env.sh.template並重命名為spark-env.sh：
cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh
在spark-env.sh中添加：
export JAVA_HOME=/software/jdk
export SCALA_HOME=/software/scala
export HADOOP_HOME=/software/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G
export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)啟動
$SPARK_HOME/sbin/start-all.sh測試Spark是否安裝成功：
$SPARK_HOME/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
輸出信息比較多，使用grep命令過濾：
檢查WebUI，瀏覽器打開端口：http://localhost:8080
停止
$SPARK_HOME/sbin/stop-all.sh安裝完成。
Spark 2.2.0 安裝與配置