已有hadoop yarn 和 spark 叢集部署、執行在分散式環境中，程式開發編碼在PC上，由於逐漸增多scala編寫spark2.0程式，入鄉隨俗使用sbt和IntelliJ Idea，順便對PC上的Scala + sbt + maven + IntelliJ Idea一些要注意的開發環境配置細節進行記錄，側重於現在網上比較少總結又可能讓人有些困擾的部分，目前這方面總結比較完整的文章好像還比較少（也可能是自己看的不夠多），有些內容也是google國外和自己摸索的，在此進行記錄，一方面方便跟可能有同樣需求的程式猿們討論交流，一方面給做個備忘記錄。

整體上主要是以下幾個步驟。

1. Java JDK 安裝與配置

2. Scala2.11.8 安裝與配置

3. maven 安裝與配置設定檔案

4. sbt 安裝與配置sbt-lauch.jar包

5. 整合開發環境IDE IntelliJ Idea 安裝與配置外掛

6. 通過sbt依賴建立 Spark2.0 專案

1. Java JDK 安裝與配置

官網下載對應作業系統的安裝包，做好環境變數配置，命令列java 相關命令成功執行，網上很多參考文件，不多敘述。

2. Scala 安裝與配置

官網下載對應作業系統的安裝包，做好環境變數配置，命令列scala相關命令成功執行，網上很多參考文件，不多敘述。

3. maven 安裝與配置設定檔案

maven或sbt等開發管理軟體的使用，在開發中能夠較為系統的生成開發目錄結構，管理依賴關係，幫開發人員節省時間，提高效率，當然具體使用與否還是看個人實際開發情況選擇，沒有maven或sbt等管理軟體也可以照樣開發。

官網下載對應作業系統的安裝包，解壓到自己設定的目錄，成功執行mvn相關命令。

（1）由於國內連線預設maven倉庫，網路狀況和速度是個老大難問題，可以在maven目錄下conf/settings.xml檔案配置修改<mirrors></mirrors>部分，查詢並增加國內外的當時仍有效的快速maven倉庫映象，比如阿里雲的maven倉庫映象。先備份原有settings.xml檔案，再如下修改當前settings.xml。

<mirror> 

    <id>nexus-aliyun</id>

    <name>Nexus aliyun</name>

    <url>http://maven.aliyun.com/nexus/content/groups/public</url> 

    <mirrorOf>central</mirrorOf> 

</mirror>

（2）本地下載儲存依賴的目錄路徑，預設是.m2下面（Linux使用者家目錄裡面，Windows C盤使用者目錄裡面），可以改為其他指定目錄，修改conf/settings.xml檔案，<localRepository>修改為指定路徑</localRepository>，以防在使用者目錄下被誤刪或受到其他影響。

（3）這時候沒有安裝IDE，可以通過mvn命令生成maven專案，修改pom.xml，管理專案依賴包，進行程式碼編寫，編輯器自選。

4. sbt 安裝與配置sbt-lauch.jar包

為了進行scala+spark的開發，入鄉隨俗使用sbt，官網下載對應作業系統的安裝包，解壓或安裝到自己設定的目錄，成功執行sbt相關命令。

（1）同樣的，sbt國內連線預設倉庫，網速老大難，下載過程極其緩慢，測速可低至0-2KB/S，典型小水管，還有可能中途連線被斷開，所以同樣需要做更改倉庫映象的嘗試。

修改的方法有幾種不同的方式，考慮到最終呼叫的是sbt路徑下的bin/sbt-launch.jar，這裡採用了直接修改sbt-launch.jar的方式。

先複製備份原有sbt-launch.jar檔案，再開啟當前修改編輯的sbt-launch.jar中的sbt/sbt.boot.properties，這裡修改了[repositories]的local部分， maven-central沒有改，添加了幾個網上找的映象源，都加上去了，也不一定是最快的，速度目前在個人可接受範圍內。

  aliyun-nexus: http://maven.aliyun.com/nexus/content/groups/public/  
  ibiblio-maven: http://maven.ibiblio.org/maven2/
  typesafe-ivy: https://dl.bintray.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
  uk-repository: http://uk.maven.org/maven2/
  jboss-repository: http://repository.jboss.org/nexus/content/groups/public/

（2）sbt使用了ivy，預設將依賴包儲存在家目錄或C盤使用者目錄.ivy下面，如果覺得預設路徑不合適，可以把sbt.boot.properties檔案的[boot]和[ivy]目錄修改為指定目錄，比如ivy-home是cache依賴包路徑，打比方可以改為/home/user/.../ivy-home/  或者  F:\...\ivy-home\，然後指定路徑下生成的cache目錄將具體儲存sbt專案依賴包。 

（3）使用sbt命令生成專案模板，可以編寫build.sbt，進行依賴管理。

5. 整合開發環境IDE IntelliJ Idea 安裝與配置外掛

上面的開發環境配置完成，已可以進行專案開發，個人覺得沒有結合IDE使用來的方便，scala、java開發IDE選擇見仁見智，IntelliJ Idea比較適合本人口味。

官網下載對應作業系統的安裝包，對比免費和付費版本功能，免費的community版一般夠用了，解壓或安裝到指定路徑。

（1）開啟IntelliJ Idea，在彈出的啟動介面中，先進行預設的專案配置（注意是default project配置，以後每個生成的當前專案current project都會先採用該預設配置），包括外掛安裝、引數配置等。開啟可見目前安裝的版本屬於2016.2，截圖介面中，選擇configure中的settings。

（2） 左側選擇plugins，預設已自帶maven外掛，在browse repositories輸入scala，查詢並下載安裝scala外掛，同樣完成sbt外掛安裝。IDE下載這些外掛的作用通常是用於連線IDE和對應的軟體，比如上面已裝好的scala，sbt，maven，通過外掛方便在IDE呼叫已裝軟體的命令和功能，有效地進行開發。

（3）外掛安裝完成後，點選左側Build, Execution, Deployment，在Build Tools裡面分別maven和sbt外掛進行設定，確保外掛呼叫的不是idea預設下載的maven和sbt軟體，而是上述自己手動安裝的比較新的maven和sbt。

maven的設定，首先看到介面右上角，確認是有一行小字“For default project”，表明是做預設專案配置，如果專案生成後，同樣此處的配置介面，將是"For current project"，表示只為當前專案做獨立設定。然後對介面上maven home目錄進行選擇，選取上面自己下載的maven目錄；設定檔案選擇maven下的conf/settings.xml，override打勾替換預設的檔案；local 倉庫位置選擇前面設定好的maven本地倉庫路徑。

由於maven下載預設倉庫依賴時，會下載一個模板檔案archetype-catalog.xml，網速慢情況下過於耗時，可能導致下載介面卡住停滯，可以在介面的maven-->runner中設定執行引數，在VM Options寫上引數：-DarchetypeCatalog=internal，表示用本地的archetype-catalog.xml，跳過自動網路下載卡住的步驟，然後手動http連線web網頁，在maven映象或中央倉庫通過下載路徑 org\apache\maven\archetype\archetype-catalog\相應版本號\，下載archetype-catalog.xml，放置在本地maven倉庫路徑的 org\apache\maven\archetype\archetype-catalog\相應版本號\  的對應目錄位置裡面。這樣maven外掛基本設定完了。

類似的，點選sbt外掛，在設定介面將sbt軟體由idea打包的bundled選項改為custom，選擇上面安裝sbt軟體的已經修改好的bin/sbt-launch.jar。

接下來還需要在設定介面左側other settings--->SBT中，去掉Use IDE Settings選項，配置使用自己安裝的sbt包和引數，包括下方的SBT laucher JAR file，需要明確地選擇自己的sbt軟體包，sbt外掛才能在idea中按照期望正確地工作。

這個時候回到原來啟動介面，選擇建立生成新專案，maven或sbt專案，或者直接的java、scala專案，通常已經可以正常工作了，過程不做敘述，網上有很多參考。

6. 通過sbt依賴建立Spark2.0專案

首先在建立的sbt專案中，修改build.sbt，下載spark2.0依賴包，scala編寫spark程式，生成jar包放到spark2.0研發的分散式叢集執行測試。

（1） 在建立新專案介面中，選擇scala--->sbt，在生成的介面中設定專案名稱和儲存位置，程式根目錄。

（2）選擇finish，sbt外掛將自動呼叫上述本地安裝sbt軟體，下載預設依賴包，生成sbt專案結構目錄，這裡第一次建立需要耐心等待一段時間，等待專案依賴包都下好，sbt程式碼木結構才能生成。

（3）在生成的sbt專案中，編輯build.sbt，在scalaVersion後面新增spark依賴，注意格式要求，每行之間還要空一行。spark依賴有兩種編寫方式。

一種是不明確指定spark庫的版本，在依賴包的組織部分 "org.apache.spark" 後面加兩個%號，讓sbt自己去倉庫源裡面根據scala版本匹配，例如

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" 。

另一種是明確指明spark庫版本，依賴包組織部分 "org.apache.spark" 後面只加一個%號，例如

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-mllib_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-graphx_2.11" % "2.0.0"

但是有時候由於與源倉庫的網速太慢等原因，依賴庫的下載未必順利，導致build.sbt檔案總是顯示unresolved dependencies，就是指下載庫沒有下載完整，或配置檔案沒有記錄完整， 比如網路慢導致spark的某些包沒下下來，也沒什麼好辦法，只能在idea sbt外掛視窗繼續重新整理下載，如果重新整理後sbt下載不正常工作，可以將sbt配置的本地下載庫路徑cache裡相關依賴包目錄刪除，比如org.apache.spark，然後將本地下載庫路徑下面與cache目錄平行的幾個生成配置檔案刪除（做了測試，有時候spark依賴包已全部下載完成，但不知什麼原因，這幾個配置檔案可能沒有相應更新，導致idea中sbt外掛仍然顯示unresolved dependencies，刪除配置檔案後再重新整理sbt，不再顯示錯誤，新增成功），重新重新整理和下載，正常情況下可以完成依賴，build.sbt檔案不會報錯unresolved dependencies。

如果更換了硬碟或重灌了系統，原來Idea仍可使用，如果build.sbt新增庫以後依賴解析報錯，類似invalid ivy2 cache找不到，可以在Idea的Build下SBT配置 JVM Options，原來的VM Parameters為-XX:MaxPermSize=384M，繼續新增-Dsbt.ivy.home=.../ivy-home，-Dsbt.boot.directory=.../sbt-dir/boot，指明cache庫所在路徑，該路徑應與使用的sbt外掛中相關路徑一致。

（4）接下來可以寫個簡單的hello spark程式，import spark的一些基礎包，試試是否可以正常通過sbt編譯和打包，放到叢集執行。由於程式很簡單，只是列印了sparkcontext的類名，setMaster使用local引數，表示讓Spark執行在單機單執行緒上而不用連線到spark叢集，可以直接在idea裡面run一下直接檢視結果。如果有條件，spark程式開發，建議打包在研發測試叢集上執行，分散式程式編寫環境和執行環境儘量分開，如果有問題，在執行叢集裡面去檢視日誌，對比程式，查詢定位問題，不用什麼都在IDE裡完成，個人認為IDE作用是有利於方便編寫程式碼這個步驟。在研發叢集多方面測試通過，再部署到生產環境叢集當中。