參考自書籍《Hadoop+Spark 大資料巨量分析與機器學習》

環境依賴：

jdk 1.7

scala 2.11.6

spark 2.1.2

1 安裝scala

$ wget https://www.scala-lang.org/files/archive/scala-2.11.6.tgz

$ tar xvf scala-2.11.6.tgz

$ sudo mv scala-2.11.6 /usr/local/scala

//新增scala環境變數

$ vim ~/.bashrc  //新增如下內容

#SCALA

export SCALA_HOME=/usr/local/scala

export PATH=$PATH:$SCALA_HOME/bin

$ source ~/.bashrc  //使其生效
 

2 測試scala

$ scala

3 安裝Spark

檢視hadoop版本

$ hadoop version  //我這裡是2.8.4   

選擇對應版本安裝spark(下載官網)

$ wget https://archive.apache.org/dist/spark/spark-2.1.2/spark-2.1.2-bin-hadoop2.7.tgz

$ tar zxf spark-2.1.2-bin-hadoop2.7.tgz

$ sudo mv spark-2.1.2-bin-hadoop2.7 /usr/local/spark

//新增spark環境變數

$ vim ~/.bashrc  //新增如下內容

#SPARK

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

$ source ~/.bashrc  //使其生效
 

4 啟動spark-shell互動介面

$ spark-shell

5 設定spark-shell顯示資訊

$ cd /usr/local/spark/conf

$ cp log4j.properties.template log4j.properties

$ sudo vim log4j.properties

將log4j.rootCategory=INFO 改為 WARN

$ spark-shell   //然後就發現現實的東西少了很多，沒這麼礙眼

6 啟動hadoop然後本地執行spark-shell

讀取HDFS檔案

> val textFile=sc.textFile("hdfs://192.168.80.100:9000/user/hduser/wordcount/input/LICENSE.txt")      //這裡ip是對應master，可見hadoop core-site.xml配置

> textFile.count
 

7 Hadoop YARN執行spark-shell

$ SPARK_JAR=/usr/local/spark/yarn/spark-2.1.2-yarn-shuffle.jar HADOOP_CONF_DIR=/home/hadoop/hadoop/etc/hadoop MASTER=yarn-client /usr/local/spark/bin/spark-shell

然後可見下面scala>提示符

讀取本地檔案

scala>

> val textFile=sc.textFile("file:/home/hadoop/hadoop/LICENSE.txt");

> textFile.count

讀取hdfs檔案

> val textFile=sc.textFile("hdfs://192.168.80.100:9000/user/hduser/wordcount/input/LICENSE.txt")      //這裡ip是對應master，可見hadoop core-site.xml配置

> textFile.count

然後訪問：http://192.168.80.100:8088/cluster/apps，顯示如下(192.168.80.100是hadoop的master的伺服器ip)

8 構建Spark Standalone Cluster執行環境

//在master虛擬機器中設定spark-env.sh

$ cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh

$  sudo vim /usr/local/spark/conf/spark-env.sh   //新增如下內容

export SPARK_MASTER_IP=192.168.80.100 #設定master的ip或伺服器名稱  這裡對應hosts中的master

export SPARK_WORKER_CORES=1     #設定每個worker使用的cpu核心

export SPARK_WORKER_MEMORY=500m   #設定每個worker使用記憶體  --800m推薦

export SPARK_WORKER_INSTANCES=2  #設定多個worker例項

然後拷貝到對應的hadoop slave伺服器

$ ssh 192.168.80.101   //slave1伺服器

$ sudo mkdir /usr/local/spark

$ sudo chown hadoop:hadoop /usr/local/spark

$ exit;

//退出後回到master伺服器

$ sudo scp -r /usr/local/spark [email protected]:/usr/local  //遠端拷貝spark到slave伺服器

$ cp /usr/local/spark/conf/slaves.template /usr/local/spark/conf/slaves

$ vim /usr/local/spark/conf/slaves  //編輯並新增你的slave伺服器ip

192.168.80.101

在spark standalone執行spark-shell

$ /usr/local/spark/sbin/start-all.sh  //然後就可以看到啟動了1個master、2個worker

$ /usr/local/spark/sbin/start-master.sh -h 192.168.80.100

$ /usr/local/spark/sbin/start-slave.sh spark://192.168.80.100:7077

-------------以下是可不操作命令------------------

$ /usr/local/spark/sbin/start-master.sh   //啟動master服務

$ /usr/local/spark/sbin/start-slaves.sh   //啟動slaves服務

$ /usr/local/spark/sbin/stop-all.sh   //停止所有服務

注：為什麼是兩個ip192.168.80.101的worker，衛視在spark-env.sh設定了SPARK_WORKER4_INSTANCES=2，所以一個從伺服器會產生兩個例項。

在spark standalone中執行spark-shell程式

$ spark-shell --master spark://192.168.80.100:7077

然後開啟web輸入 http://192.168.80.100:8080可見如下：