https://blog.csdn.net/lengconglin/article/details/77847623

一、Spark執行環境 
　 　Spark是Scala寫的，執行在JVM上，所以執行環境Java7+，如果使用Python API，需要安裝Python 2.6+或者Python3.4+，安裝之前確認已經安裝了Java,可參見本人部落格：http://blog.csdn.net/lengconglin/article/details/77016911 
　　這裡注意版本對應問題，2.0以上都對應Scala2.11 Spark1.6.2-Scala 2.10 Spark 2.0.0 -Scala 2.11

二、下載Spark 
　　下載地址為：http://spark.apache.org/downloads.html 
　　 
　　 搭建Spark不需要Hadoop，如有hadoop叢集，可下載相應的版本 
　　 下載之後解壓

cd ~/Downloads/  
tar xzvf spark-2.2.0-bin-hadoop2.7.tgz  
mv spark-2.2.0-bin-hadoop2.7/ spark  
sudo mv spark/ /usr/lib/ 
1
2
3
4
三、配置Spark和.bashrc

cd /usr/lib/spark/conf/  
cp spark-env.sh.template spark-env.sh  
gedit spark-env.sh  
1
2
3
新增如下兩行： 
JAVA_HOME=/usr/lib/jdk/jdk1.8.0_144 
SPARK_WORKER_MEMORY=4g

sudo gedit ~/.bashrc
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_144     
export SPARK_HOME=/usr/lib/spark  
export PATH=$PATH:$JAVA_HOME/bin  
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin  
1
2
3
4
5
可以開啟終端進行測試，輸入spark-shell: 

四、IntelliJ IDEA 開發環境搭建

首先下載intellij idea，下載地址為：https://www.jetbrains.com/idea/ 
加壓之後進入bin目錄，開啟終端執行 ./idea.sh 本人下載的是完全版，所以需要輸入註冊碼： 
1. 到網站 http://idea.lanyus.com/ 獲取註冊碼。 
2.填入下面的license server: 
　　http://intellij.mandroid.cn/ 
　　http://idea.imsxm.com/ 
　　http://idea.iteblog.com/key.php 
以上方法驗證均可以。

可以在安裝的時候就選擇安裝Scala外掛，也可以之後在外掛裡面搜尋安裝Scala,具體如下： 
File -> Settings -> Plugins 搜素Scala,找到外掛安裝，安裝完成之後重啟IDE

測試：File ->New -> Project… 彈出的對話方塊選擇Scala -> SBT 之後設定名字，選擇JDK，SBT和Scala版本： 

點選Finish,然後耐心等待一段時間，後臺需要下載相應依賴和程式碼，所以要保證網路環境良好。
--------------------- 
作者：lengconglin 
來源：CSDN 
原文：https://blog.csdn.net/lengconglin/article/details/77847623 
版權宣告：本文為博主原創文章，轉載請附上博文連結！