1. 程式人生 > >Mac下部署單機版spark模式

Mac下部署單機版spark模式

mac下配置單機版Spark相對比較簡單,首先我們從Spark官網上下載Spark的源程式http://spark.apache.org/downloads.html,在頁面中選擇你需要的版本,本文選擇的是最新版本spark-2.1.0-bin-hadoop2.7.tgz

1、下載完成後解壓到某個目錄下:

tar zxvf spark-2.1.0-hadoop2.7.tgz

2、配置spark環境變數

Mac環境變數一般在/etc/profile下配置,開啟profile檔案在檔案中新增。

#SPARK VARIABLES START
export SPARK_HOME = /usr/local/spark-2.1.0-hadoop2.7
export PATH = ${PATH}:${SPARK_HOME}/bin
#SPARK VARIABLES END

3、配置JVAVA環境

同樣在/etc/profile下配置。將java安裝目錄新增到裡面

export JAVA_HOME = /Library/java/javaVirtualMachines/jdk1.8.0_111.jdk/COntents/Home

設定完成後,儲存退出。然後使用source /etc/profile 使環境變數生效。

4、測試

開啟終端,輸入

pyspark

就會出現下面的畫面。


至此,單機版的pyspark就安裝完成,但是注意的是我們現在配置的是單機版,並沒有涉及spark叢集的配置,所有沒有對spark進行相應的配置,比如設定slaves等。