1. 程式人生 > >Idea 編寫 Spark 示例程式碼並打包成Jar

Idea 編寫 Spark 示例程式碼並打包成Jar

      說明:本人是在Linux下搭建的單機Spark環境,也是在Linux下使用Idea14.02進行程式碼編輯

     1. 開啟IDEA,在歡迎介面從右下角的Configure -> Plugins進入,安裝Scala外掛


    2.從左下角的Install JetBrains plugin進入,再在搜尋輸入框中輸入 scala,由於我已經裝好scala外掛了,所以右側出現的是Uninstall plugin ;若沒有裝好scala外掛,應該會出現 Install plugin按鈕,點選安裝,裝好後會要求重啟IDEA.

3.配置預設JDK,如下圖


進入後會看到 No SDK

點選New

找到你的Java JDK所在目錄


4.新建專案


5.選擇Scala 和 SBT。其實我後面並沒有對SBT的配置檔案進行編輯,之前編輯過sbt的配置檔案,但是由於網路原因,部分包一直下載不下來,所以乾脆不用sbt了,我只是為了讓它自動生成一些目錄而已。

6.在如圖所示的scala目錄中新建scala object檔案

輸入相應的測試程式碼:

7.打包相關的配置

找到spark安裝目錄下的lib目錄,也可以從其它機器上將需要的jar拷貝過來:

擊Main Class後面的按鈕,選擇main函式

下圖中右側藍色的包可以刪掉,只留最後的  'sparktest' compile output那一項即可,否則打好的包會比較大,我之前只寫了幾行程式碼,但是把scala和spark相關的包都包含進去了,所以一個包有100多M。

8.開始打包

打包好後,應該就能看到對應的ja包了

9.進行測試:

bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

執行正確: