1. 程式人生 > >Spark安裝以及配置

Spark安裝以及配置

2>在/usr/local/src/中解壓spark-2.0.2-bin-hadoop2.6.tgz

3>在spark根目錄中,進入/conf目錄下,建立slaves和 spark-env.sh檔案,我這裡配的是叢集的方式,所以在slaves中新增

slave1

slave2

在 spark-env.sh中新增

JAVA_HOME=/usr/local/src/jdk1.8.0_172

HADOOP_HOME=/usr/local/src/hadoop-2.6.1

HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SCALA_HOME=/usr/local/src/scala-2.11.4

SPARK_MASTER_IP=newmaster(自己主機名)

SPARK_LOCAL_DIRS=/usr/local/src/spark-2.0.2-bin-hadoop2.6

SPARK_DRIVER_MEMORY=1G

4>在~/.bashrv中新增

SPARK_HOME=/usr/local/src/spark-2.0.2-bin-hadoop2.6

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

儲存,退出。然後source ~/.bashrc

5>在spark根目錄中,進入/sbin目錄下,執行./start-all.sh命令即可

6>在瀏覽器中輸入Linux主機ip:8080,可檢視是否正常