安裝JDK、Scala、IDEA見我的其他部落格有詳細的介紹。

啟動idea：

進入到某個資料夾：

File-NewProject：Scala-IDEA

Project Name：

File-Project Structure-Modules：新建資料夾，設為source

新增Library：

scala SDK：

Java Library：選擇$SPARK_HOME/jar/下的所有包：

因為太多分兩次匯入的所有會有兩個：

新建包，建立檔案：

下面的案例使用scala.class。注意hadoop，spark要開啟。

直接在spark-shell下的案列不需要new出conf，sc，啟動時已經初始化了，程式碼編寫時卻不能省略。

在IDEA裡面編寫的程式碼既可以直接在IDEA中執行或除錯，也可以打包後提交到spark-shell。

1.直接執行：

 執行之前需要進行編譯：Build-Make Project或者Ctrl+F9

  編譯通過後，在程式碼介面單擊滑鼠右鍵，選擇執行程式彈出“執行/除錯配置”，或者下面：

選擇輸入設定的兩個路徑引數：路徑是本地裡面的，不是hdfs裡面的，因為這個本地開發。Main Class也要選

單擊Run-Run或Shift+F10執行：

執行可能會出現問題，把scala-SDK換成2.11版就行。

2.打包執行

設定包的輸出路經：

設定完畢後：

生成專案的打包檔案：

將檔案提交到spark叢集就可以了：

提交：