軟體準備資訊，詳見Spark2.2.0叢集搭建部署之【軟體準備篇】

基礎配置資訊，詳見Spark2.2.0叢集搭建部署之【基礎配置篇】

SSH無密訪問，詳見park2.2.0叢集搭建部署之【無密訪問篇】

HADOOP叢集，詳見Spark2.2.0叢集搭建部署之【HADOOP叢集篇】

解壓spark-2.2.0-bin-hadoop2.7.7.tar.gz

tar -zxvf spark-2.2.0-bin-hadoop2.7.7.tar.gz

配置環境變數, vi /etc/profile

export SPARK_HOME=/root/xdb/spark-2.2.0-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin
 

重新整理,source /etc/profile。

進入$SPARK_HOME/conf目錄，拷貝 cp spark-env.sh.template spark-env.sh ; cp slaves.template slaves

master配置spark-env.sh檔案，新增以下內容

export SCALA_HOME=/root/xdb/scala-2.11.11/
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export SPARK_MASTER_IP=192.168.195.129
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024M

export HADOOP_CONF_DIR=/root/xdb/hadoop-2.7.7/etc/hadoop

export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=192.168.195.129
export SPARK_MASTER_HOST=192.168.195.129
 

修改$SPARK_HOME/conf/slaves，新增如下內容：

master
slave1

同理，slave1中也配置上述資訊，不過這條資訊對應需要修改下。

export SPARK_LOCAL_IP=192.168.195.128

在Master節點啟動叢集
 

$SPARK_HOME/sbin/start-all.sh 

可檢視jps，會對應新增master以及worker程序。

Spark管理介面, http://192.168.195.129:8080即可訪問，workers欄目下有對應的master以及slave1。

通過命令，可以在管理頁面中新增application

cd /root/xdb/spark-2.2.0-bin-hadoop2.7/bin 
spark-shell --master spark://master:7077