最新版spark-2.2.0安裝教程
1.jdk的安裝;(java1.8)
2.hadoop安裝;(hadoop2.7.2)
3.scala安裝;(scala2.11.8)
4.spark安裝。(spark2.2.0)
0.環境:mac OS X 10.12
1.jdk的安裝:安裝java JDK1.7及以上的版本,配置好環境變數。
檢視是否安裝成功命令:
$: java -version
2.hadoop安裝:
$: brew install hadoop
預設安裝到 /usr/local/Cellar/hadoop下。 說明homebrew是mac OS 上的包管理軟體。安裝hadoop還需要配置ssh等,這裡不重複了。
3.scala安裝:安裝scala 2.9.3以上版本。
(1)下載安裝:
$:brew install scala
預設安裝到 /usr/local/Cellar/
安裝成功提示:
To use with IntelliJ, set the Scala home to:
/usr/local/opt/scala/ideaBash completion has been installed to:
/usr/local/etc/bash_completion.d ==> Summary
/usr/local/Cellar/scala/2.11.8: 51 files, 30.9M, built in 1 minute 18 seconds
(2)配置HOME:
$:sudo nano ./etc/profile
然後輸入:
export SCALA_HOME=/usr/local/Cellar/scala/2.11.8
export PATH=$PATH:$SCALA_HOME/bin
接著按control+x 推出,按Y儲存,enter。
(3)返回根目錄~並輸入:
~$:scala
顯示如下介面即安裝成功:
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java
1.8.0_91). Type in expressions for evaluation. Or try :help
$:sudo tar -zxf ~/Downloads/spark-2.2.0-bin-hadoop2.7.tgz /usr/local/Cellar
(3)配置環境變數:
$:cd /usr/local/Cellar
#修改包名,方便後續配置
$:mv ./spark-2.2.0-bin-hadoop2.7.tgz ./spark-2.2.0
$:sudo nano /etc/profile
#在檔案中新增:
export SPARK_HOME=/usr/local/Cellar/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin
然後進入spark的conf檔案中修改配置:
$:cd spark-2.2.0/conf
$:cp spark-env.sh.template spark-env.sh #複製檔案
$:sudo nano spark-env.sh
#在檔案中新增:
export SCALA_HOME=/usr/local/Cellar/scala-2.11.8
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
至此,已完成spark的安裝和配置,驗證way1:
$:cd /usr/local/Cellar/spark-2.2.0/bin
$: ./spark-shell
way2根目錄下輸入:
$:spark-shell
視窗即可彈出spark標誌。
*採坑:
1.安裝spark採用命令列:
$:brew install spark
自動安裝的spark1.0.1,嘗試了想用命令列升級,沒有成功,於是進官網下載最新的版本。
2.安裝scala的時候,用命令brew install scala安裝的,目錄為:
/usr/local/Cellar/scala/2.11.8
後面在配置環境變數的時候,忘了輸入2.11.8,結果一直報錯,找了半天的錯誤才發現。
3.經驗:環境變數分系統環境變數和區域性環境變數,例如scala下面的scala/bin下面有個/etc/profile這是scala的區域性環境變數,進入方法:cd scala/bin cd ./etc/profile
進入系統環境變數: cd /etc/profile
說明:本文的重點是安裝spark,所以前面的步驟都只是一個順序,並不是詳細的安裝配置過程。