還是在之前的Hadoop叢集環境上繼續搭建Spark-1.6.1環境

下載安裝

下載Spark並解壓

wget http://mirrors.cnnic.cn/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /home/dps-hadoop/

改個舒服的名字

mv spark-1.6.1-bin-hadoop2.6/ spark-1.6.1

配置環境變數

同樣，修改.bashrc檔案

vim ~/.bashrc

新增內容

export SPARK_HOME
 
=$HOME/spark-1.6.1
export PATH=$PATH:$HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin

立即生效

source ~/.bashrc

配置Spark

拷貝一份配置檔案模版

cp conf/slaves.template conf/slaves

修改slaves內容如下

master
slave15
slave16

其餘走預設(這點來看，Spark真的很方便)，將安裝包拷貝到叢集的其他節點。

scp -r spark-1.6.1/ slave15:~/
scp -r spark-1.6.1/ slave16:~/

啟動叢集

啟動主節點

sbin/start-master.sh

啟動從節點

sbin/start-slaves.sh

通過 Web UI檢視，一切ok