1. 程式人生 > >最新版scala2.11.8與spark1.6.1一步到位安裝

最新版scala2.11.8與spark1.6.1一步到位安裝

一,scala安裝:
先到官網下載一個scala的壓縮包,它沒有過多的要求,然後在Linux下按照如下步驟操作:
1,解壓包:
[email protected]:/mysoftwaretarzxvfscala2.11.8.tgz2hadoop@master: sudo gedit /ect/profile
[email protected]:/mysoftware/scala-2.11.8$ sudo gedit /etc/environment

export SCALA_HOME=/mysoftware/scala-2.11.8
 export PATH=$SCALA_HOME/bin:$PATH

這裡寫圖片描述

3,使得這兩個檔案生效:
source /ect/profile
source /etc/environment

4,啟動scala:
[email protected]:/mysoftware/scala-2.11.8$ scala

看到scala的介面就表示安裝成功啦。

二,安裝spark:
要求:jdk1.7以上的版本。
下面講步驟:
1,解壓spark壓縮包:
[email protected]:/mysoftware$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

2,配置環境變數:
還是上面兩個都配,內容:

    export SPARK_HOME=/mysoftware/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

3,修改spark-env.sh檔案,不過先要複製模板:
[email protected]:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp spark-env.sh.template spark-env.sh
sudo gedit spark-env.sh

export SCALA_HOME=/mysoftware/scala-2.11.8
export JAVA_HOME=/mysoftware/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.61.128
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.61.128:7070

4,修改salves,改成自己設定的主機名,也要先複製模板:
[email protected]:/mysoftware/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves
這裡寫圖片描述

5,啟動spark,看到以下兩個程序,就表示OK啦!
這裡寫圖片描述