1. 程式人生 > >最新版spark-2.2.0安裝教程

最新版spark-2.2.0安裝教程

1.jdk的安裝;(java1.8)
2.hadoop安裝;(hadoop2.7.2)
3.scala安裝;(scala2.11.8)
4.spark安裝。(spark2.2.0)

0.環境:mac OS X 10.12
1.jdk的安裝:安裝java JDK1.7及以上的版本,配置好環境變數。
檢視是否安裝成功命令:
$: java -version

2.hadoop安裝:
$: brew install hadoop
預設安裝到 /usr/local/Cellar/hadoop下。 說明homebrew是mac OS 上的包管理軟體。安裝hadoop還需要配置ssh等,這裡不重複了。

3.scala安裝:安裝scala 2.9.3以上版本。
(1)下載安裝:

$:brew install scala

預設安裝到 /usr/local/Cellar/
安裝成功提示:

To use with IntelliJ, set the Scala home to:
/usr/local/opt/scala/idea

Bash completion has been installed to:
/usr/local/etc/bash_completion.d ==> Summary
/usr/local/Cellar/scala/2.11.8: 51 files, 30.9M, built in 1 minute 18 seconds

(2)配置HOME:
$:sudo nano ./etc/profile
然後輸入:
export SCALA_HOME=/usr/local/Cellar/scala/2.11.8
export PATH=$PATH:$SCALA_HOME/bin
接著按control+x 推出,按Y儲存,enter。

(3)返回根目錄~並輸入:
~$:scala
顯示如下介面即安裝成功:

Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java
1.8.0_91). Type in expressions for evaluation. Or try :help

$:sudo tar -zxf ~/Downloads/spark-2.2.0-bin-hadoop2.7.tgz /usr/local/Cellar

(3)配置環境變數:

 $:cd /usr/local/Cellar
 #修改包名,方便後續配置
 $:mv ./spark-2.2.0-bin-hadoop2.7.tgz ./spark-2.2.0   

$:sudo nano /etc/profile
#在檔案中新增:

export SPARK_HOME=/usr/local/Cellar/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin

然後進入spark的conf檔案中修改配置:

 $:cd spark-2.2.0/conf
  $:cp spark-env.sh.template spark-env.sh #複製檔案
  $:sudo nano spark-env.sh

#在檔案中新增:

export SCALA_HOME=/usr/local/Cellar/scala-2.11.8
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g

至此,已完成spark的安裝和配置,驗證way1:

 $:cd /usr/local/Cellar/spark-2.2.0/bin
 $: ./spark-shell

way2根目錄下輸入:

  $:spark-shell

視窗即可彈出spark標誌。

*採坑:
1.安裝spark採用命令列:
$:brew install spark
自動安裝的spark1.0.1,嘗試了想用命令列升級,沒有成功,於是進官網下載最新的版本。

2.安裝scala的時候,用命令brew install scala安裝的,目錄為:
/usr/local/Cellar/scala/2.11.8
後面在配置環境變數的時候,忘了輸入2.11.8,結果一直報錯,找了半天的錯誤才發現。

3.經驗:環境變數分系統環境變數和區域性環境變數,例如scala下面的scala/bin下面有個/etc/profile這是scala的區域性環境變數,進入方法:cd scala/bin cd ./etc/profile
進入系統環境變數: cd /etc/profile

說明:本文的重點是安裝spark,所以前面的步驟都只是一個順序,並不是詳細的安裝配置過程。