推薦spark安裝連結http://blog.csdn.net/weixin_36394852/article/details/76030317

一、scala下載安裝與配置

         1.下載

                   cd /usr/scala    //若不存在則新建

                   wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz                  //線上下載

                   或者訪問https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

                   本機下載後copy到scala資料夾下

         2.安裝

                   cd /usr/scala

                   tar -zxf scala-2.11.7.tgz  //解壓

                   vi /etc/profile   //配置環境

                   在末尾加入如下程式碼

                   export SCALA_HOME=/usr/scala/scala-2.11.7

                   export PATH=$PATH:$SCALA_HOME/bin

                   source /etc/profile  //設定生效

         3.驗證

                   scala -version

4.同步到從節點

                   rsync -av /usr/scala/scala-2.11.7 slave1:/usr/scala/      //使用rsync命令複製資料夾

                   rsync -av /usr/scala/scala-2.11.7 slave2:/usr/scala/

配置環境（vi /etc/profile）、設定生效並驗證

二、spark下載安裝與配置

         1.下載

                   官網上下載2.2.X版本spark（與hadoop2.7.X相對應），存放在/usr/local資料夾下（本次安裝spark-2.2.0-bin-hadoop2.7.tgz）

         2.解壓、改名

                   cd /usr/local

                   tar -zxf spark-2.2.0-bin-hadoop2.7.tgz   //解壓

                   mv spark-2.2.0-bin-hadoop2.7 spark       //重新命名資料夾為spark方便後續使用

         3.配置環境變數

                   vi ~/.bashrc

                   在檔案末尾新增如下程式碼

                   export SPARK_HOME=/usr/local/spark

                   export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

                   source ~/.bashrc      //配置立即生效

4.spark配置

                   （1）修改slaves檔案

                            將slaves.template改名為slaves

                            cd /usr/local/spark/conf  //配置檔案所在目錄

                            mv slaves.template slaves      //修改為spark可識別檔案

                            並將slaves內localhost改為Slave,Slave2，各佔一行

（2）修改spark-env.sh檔案

                            將spark-env.sh.template改名為spark-env.sh

                            mv spark-env.sh.template spark-env.sh //改名

                            並在檔案末未新增如下程式碼

                            export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

                            export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

                            export SPARK_MASTER_IP=192.168.0.253

注：192.168.0.253為spark叢集master節點的IP地址

（3）copy到從節點上

                            使用rsync命令copy主節點spark資料夾到從節點

                            cd /usr/local

                            rsync -av spark Slave1:/usr/local

                            rsync -av spark Slave2:/usr/local

         注：若出現permission denied則給spark資料夾授權讀寫chmod 777 /usr/loca/spark

         5.啟動spark叢集

                   啟動hadoop叢集

                   cd /usr/local/hadoop/sbin

                   start-all.sh

啟動spark叢集

                   cd /usr/local/spark/sbin

                   start-master.sh        //啟動主節點

start-slaves.sh                   //啟動從節點

6.驗證成功

                   主節點輸入jps程序如下

從節點輸入jps程序如下

然後主節點上開啟瀏覽器，訪問http://master:8080如下圖

主節點上輸入spark-shell結果應為

7.停止spark叢集

                   關閉Master節點

                   cd /usr/local/spark/sbin

                   stop-master.sh

                   關閉Worker節點

                   stop-slaves.sh

                   關閉hadoop叢集

                   cd /usr/local/hadoop/sbin

                   stop-all.sh