使用Scala+IntelliJ IDEA+Sbt搭建開發環境

提示

搭建開發環境常遇到的問題：

1.網路問題，導致sbt外掛下載失敗，解決方法，找到一個好的網路環境，

將下載的.ivy2壓縮檔案，解壓後，放到你的使用者目錄下。

2.版本匹配問題，版本不匹配會遇到各種問題，解決方法，按照如下版本搭建，

scala(2.10.3)，sbt(0.13)，sbt-assembly(0.11.2)，spark(1.2.0)

3.如果按照本教程 搭建仍不成功，推薦看www.bigdatastudy.cn上我錄製的課程Spark開發環境搭建(免費的)

安裝Scala

預設安裝選項會自動配置環境變數。

如果沒有自動配置，進行環境變數配置

SCALA_HOME: C:\Program Files (x86)\scala\

Path後面加上 ;%SCALA_HOME%\bin

IntelliJ IDEA的下載，安裝

啟用碼如下：

key:tommy
value:49164-YPNVL-OXUZL-XIWM4-Z9OHC-LF053

key:itey
value:91758-T1CLA-C64F3-T7X5R-A7YDO-CRSN1

IntelliJ IDEA常用的設定

在IntellJ/bin/idea64.exe.vmoptions(64位，實體記憶體大，建議增大)，加大IDEA的啟動記憶體：
-Xms512m
-Xmx1024m
-XX:MaxPermSize=512m

主題和顏色：
Settings – IDE Settings – Appearance – Theme:Darcula
然後把下面override font選項勾上，選擇Yahei 14號字型。

編輯器介面字型設定：
可以在Editor – Colors&Fonts – Fonts另存為一個新的主題，並在這個新主題中修改配置。

游標所在行背景顏色：
Editor – Colors&Fonts – General – Caret row，選擇藍色背景，以便具有較大色差。

為每個專案指定不同版本的JDK：

IDEA可以為每個專案指定不同版本的JDK，並且需要開發者手動配置專案的所使用的JDK版本。配置方法如下：
單擊File | Project Structure選單項，開啟ProjectStructure對話方塊；
在左側列表框中，選擇SDKs列表項，進入SDK配置頁面；
若中間的SDK列表框沒有選項，則單擊“+”號建立一個JDK列表項；
選擇JDK列表項，在SDK ’JDK’選項卡頁面中，單擊JDK home path專案的瀏覽按鈕，定位JDK安裝路徑並儲存

外掛安裝
File>Settings>Plugins，搜尋Scala直接安裝，安裝完後會提示重新啟動。這個外掛中有scala和sbt。
無需再單獨下載sbt外掛。

build.sbt檔案
使用bt 0.13進行編譯

build.sbt檔案內容如下：
//匯入支援編譯成jar包的一些函式(這些函式是sbt-assembly外掛中的)
import AssemblyKeys._
name := “SparkApp”
version := “1.0”
scalaVersion := “2.10.3”
libraryDependencies ++= Seq(// Spark dependency
“org.apache.spark” % “spark-core_2.10″ % “1.2.0” % “provided”,
“net.sf.jopt-simple” % “jopt-simple” % “4.3”,
“joda-time” % “joda-time” % “2.0”)

//該宣告包括assembly plug-in功能
assemblySettings
// 使用 assembly plug-in配置jar
jarName in assembly := “my-project-assembly.jar”
// 從我們的assembly JAR中排除Scala, 因為Spark已經綁定了Scala
assemblyOption in assembly :=(assemblyOption in assembly).value.copy(includeScala = false)

進一步配置

要使sbt-assembly外掛生效，在project/目錄下新建一個檔案，列出這個外掛的依賴。

新建project/assembly.sbt 增加如下的配置：

addSbtPlugin(“com.eed3si9n” % “sbt-assembly” % “0.11.2”)

自此，環境搭建完畢。

spark的安裝，請參考Spark入門三部曲之第一步Spark的安裝

Spark程式的開發和執行，請參考Spark入門三部曲之第三步Spark程式的開發和執行