一、idea社群版安裝scala外掛

因為idea預設不支援scala開發環境，所以當需要使用idea搭建scala開發環境時，首先需要安裝scala外掛，具體安裝辦法如下。

1、開啟idea，點選configure下拉選單中的plugins選項：

2、在彈出對話方塊中點選紅框按鈕：

3、在彈出最新對話方塊的搜尋欄輸入scala，在篩選出的內容中選擇紅框部分，點選右側install按鈕開始下載外掛：

本人在測試過程中通過install自動下載外掛失敗，最後選擇手動下載scala外掛，然後通過步驟2中install plugin from disk選項，選擇手動下載zip包的方式安裝外掛成功。

二、建立scala工程

1、下載scala安裝檔案，並解壓到d:\目錄下：

https://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.zip

2、開啟idea開發工具，選擇“create new project”，建立一個新的工程：

3、下圖中選擇jdk版本、選擇scala、以及scala依賴包位置（scala安裝軟體位置），next：

4、輸入工程名稱並且選擇工程位置，點選finash：

5、完成工程建立後如下：

三、配置scala工程

1、file->preject structure:

2、modulesàsrcànew folder方式建立資料夾：

3、完成檔案建立後，點選ok完成配置。

工程結構如下：

四、為工程匯入spark jar包

1、首先解壓縮spark安裝包到d:\目錄下：

D:\spark-1.3.0-bin-2.5.0-cdh5.3.6

2、fileàproject structure：

3、在對話方塊選擇librariesà+àjava：

4、在彈出對話方塊內選擇spark解壓目錄，選中spark lib目錄下所有jar包，點選ok匯入所有jar包：

5、點選ok，完成spark jar包匯入scala工程：

五、編寫wordcount程式進行基準測試

1、在scala工程中建立packet，並且建立測試spark類，並且編寫wordcount程式程式碼，如下：

截圖如下：

2、程式碼完成之後，右鍵à選擇run “SparkApp”，執行程式進行功能測試。

3、打包SparkApp程式：

File—>preject structureàartifactsà+àJARàfrom modules with dependencies:

下圖中選擇要編譯的主類，點選ok：

刪除output layout下的所有依賴jar包，並且指定output directory，點選ok：

回到idea主頁面，點選buildàbuild artifacts：

SaprkApp.jar—>build，進行jar包編譯：

編譯完成後到d:\下可以看到我們編譯的jar包。

4、測試編譯的jar包（SparkApp.jar）：

4.1）刪除hdfs輸出目錄：

bin/hdfs dfs -rm -r hdfs://chavin.king:9000/user/hadoop/mapreduce/wordcount/output00000

4.2）spark-submit方式測試jar包：

bin/spark-submit \
--master yarn \
--deploy-mode client \
/opt/datas/SparkApp.jar