1.準備工作

(1)安裝工具包(自行下載)

(2)window與linux連線操作軟體(自行下載)

(3)統一安裝路徑

所有安裝包我放在 /home/study/spark/package 目錄下 
所有安裝我均安裝在 /home/study/spark 目錄下

2.在/home/study/spark下安裝JDK，並修改環境變數

(1)sudo vi /etc/profile   

注：因為修改許可權的問題需要sudo執行，否則可能會出現不能儲存的問題

export JAVA_HOME=/home/study/spark/jdk1.8.0_111/
export JRE_HOME=/home/study/spark/jdk1.8.0_111/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
 

(2)儲存更新 /etc/profile 檔案

source /etc/profile

(3)檢測是否安裝成功

java -version

3..在/home/study/spark下安裝Hadoop，並修改環境變數

cd /home/study/spark
tar -xzvf ./package/hadoop-2.6.0.tar.gz

(1)sudo vi /etc/profile，加入Hadoop變數

export HADOOP_HOME=/home/study/spark/hadoop-2.6.0
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
 

(2)修改/home/study/spark/hadoop-2.6.0/etc/hadoop/hadoop-env.sh 配置檔案

cd /home/study/spark/hadoop-2.6.0/etc/hadoop
vi hadoop-env.sh

在檔案最後加入Java環境

export JAVA_HOME=/home/study/spark/jdk1.8.0_111/

(3)修改/home/study/spark/hadoop-2.6.0/etc/hadoop下的其他配置檔案

①修改：core-site.xm

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration
 

②修改 hdfs-site.xm

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>  # 配置的備份方式，在單機hadoop中，設定為1（預設為3）
    </property>

    <property>
          <name>dfs.name.dir</name>
          <value>file:///home/study/spark/hadoopdata/hdfs/namenode</value>
    </property>  #這裡路徑要換成自己資料存放路徑

    <property>
          <name>dfs.data.dir</name>
          <value>file:///home/study/spark/hadoopdata/hdfs/datanode</value>
    </property>  #這裡路徑要換成自己資料存放路徑
</configuration>

③修改 mapred-site.xml 

注：若沒有mapred-site.xml檔案，將 mapred-site.xml.template檔案重新命名為mapred-site.xml

<configuration>
     <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
     </property>
</configuration>

④修改 yarn-site.xml

<configuration>
     <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
</configuration>

(4)初始化hadoop(在bin目錄下hdfs)

cd /home/study/spark/hadoop-2.6.0/bin
./hdfs namenode -format

(5)啟動Hadoop

cd /home/study/spark/hadoop-2.6.0/sbin
./start-all.sh

(6)停止Hadoop

cd /home/study/spark/hadoop-2.6.0/sbin
./stop-all.sh

(7)jps檢視後臺程序

注：截圖中出現master是因為，寫帖子時已安裝完spark

(8)window下瀏覽器中開啟埠，如http://xxx.xxx.xxx.xxx:8088   

注：本文實在雲主機上搭建的，故xxx.xxx.xxx.xxx為雲主機的ip地址，如果本地可為localhost或者127.0.0.1

(9)其他埠

port 8088: cluster and all applications 
port 50070: Hadoop NameNode 
port 50090: Secondary NameNode 
port 50075: DataNode

4.安裝scala

(1)解壓scala，安裝/home/study/spark目錄

cd /home/study/spark
tar -xzvf ./package/scala-2.10.6.tgz
sudo vi /etc/profile

(2)在 /etc/profile 檔案下，新增scala環境變數

export SCALA_HOME=/home/study/spark/scala-2.10.6
export PATH=$SCALA_HOME/bin:$PATH

(3)儲存更新 /etc/profile

source  /etc/profile

(4)檢測

scala -version

5.在/home/study/spark下安裝spark

(1)解壓，並通過mv指令修改spark-2.0.1-bin-hadoop2.7檔名為 spark-2.0.1

cd /home/study/spark
tar -xzvf ./package/spark-2.0.1-bin-hadoop2.7.tgz
mv spark-2.0.1-bin-hadoop2.7 spark-2.0.1
sudo vi /etc/profile

(2)在 /etc/profile 檔案中新增環境變數

export SPARK_HOME=/home/study/spark/spark-2.0.1
export PATH=$SPARK_HOME/bin:$PATH

(3)儲存更新 /etc/profile

source  /etc/profile

(4)

在/home/study/spark/spark-2.0.1/conf目錄下複製並重命名 spark-env.sh.template 為 spark-env.sh ：

cp spark-env.sh.template spark-env.sh
vi spark-env.sh

在 spark-env.sh 中新增：

export JAVA_HOME=/home/study/spark/jdk1.8.0_111/
export SCALA_HOME=/home/study/spark/scala-2.10.6
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=1G

• 啟動spark

cd /home/study/spark/spark-2.0.1/sbin
./start-all.sh

停止spark

cd /home/study/spark/spark-2.0.1/sbin
./stop-all.sh

(5)window下瀏覽器中開啟埠，如http://xxx.xxx.xxx.xxx:8088   

注：本文實在雲主機上搭建的，故xxx.xxx.xxx.xxx為雲主機的ip地址，如果本地可為localhost或者127.0.0.1

6.測試spark