1、下載spark,在這之前需要安裝scala

wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

 2、配置環境變數

vi /etc/profile
export SPARK_HOME=/usr/local/spark-2.2.0

export PATH=$PATH:$SPARK_HOME/bin

3、修改spark-env

vim spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_141

export SCALA_HOME=/usr/scala-2.11.7

export HADOOP_HOME=/usr/local/hadoop-2.7.2

export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop

export SPARK_MASTER_IP=SparkMaster

export SPARK_WORKER_MEMORY=4g

export SPARK_WORKER_CORES=2

export SPARK_WORKER_INSTANCES=1
 

 變數說明 
- JAVA_HOME：Java安裝目錄 
- SCALA_HOME：Scala安裝目錄 
- HADOOP_HOME：hadoop安裝目錄 
- HADOOP_CONF_DIR：hadoop叢集的配置檔案的目錄 
- SPARK_MASTER_IP：spark叢集的Master節點的ip地址 
- SPARK_WORKER_MEMORY：每個worker節點能夠最大分配給exectors的記憶體大小 
- SPARK_WORKER_CORES：每個worker節點所佔有的CPU核數目 
- SPARK_WORKER_INSTANCES：每臺機器上開啟的worker節點的數目

4、修改workers

vi conf/slaves
SparkWorker1
SparkWorker2

 5、啟動

start-dfs.sh
start-all.sh

6、開啟spark-shell，可以檢視Web-ui的執行任務

spark-shell