1. 程式人生 > >Spark(八) -- 使用Intellij Idea搭建Spark開發環境

Spark(八) -- 使用Intellij Idea搭建Spark開發環境

Intellij Idea下載地址:
官方下載
選擇右下角的Community Edition版本下載安裝即可

本文中使用的是windows系統
環境為:
jdk1.6.0_45
scala2.10.5

在網上下載jdk和scala的安裝包雙擊執行安裝即可

注意:如果之後要將scala檔案打包成jar包並在spark叢集上執行的話,請確保spark叢集和打包操作所在機器 環境保持一致!不然執行jar包會出現很多異常

要使用idea開發spark程式首先要安裝scala外掛
進入idea主介面

線上安裝:
選擇Plugins
這裡寫圖片描述
輸入scala
這裡寫圖片描述
選擇安裝即可

離線安裝:

scala離線外掛包
下載完scala外掛包之後,在idea主介面的Plugins中選擇從本地安裝
這裡寫圖片描述
選擇下載好的scala外掛安裝即可

本文使用的是Idea14.1.3 對應的scala外掛版本為1.5
不同版本的Idea對應的scala外掛版本可能不同,無法識別

現在可以用idea來新建一個scala專案
New Project->Scala
這裡寫圖片描述

再此頁面中選擇jdk和scala安裝的目錄,Idea會自動識別
這裡寫圖片描述

Finish完成Project的建立

在File中選擇Project Structure對專案進行配置
這裡寫圖片描述

選中左側的Mudules,點選+號新增一下新的Module。Idea中的Project相當於Eclipse中的一個WorkSpace,裡面的Module相當於Project
這裡寫圖片描述

新建一個First的Module
這裡寫圖片描述

在src目下新新建main和scala目錄,並設定為Sources型別
這裡寫圖片描述

點選左側的Liberaries,點選+進行新增spark的jar包
這裡寫圖片描述

只要引入圖中的那個jar包即可,spark版本為1.3.1,一般下載spark之後可以在其目錄下找到
這裡寫圖片描述

在scala資料夾下右鍵新建一個scala class,型別選擇為Object
這裡寫圖片描述

編寫簡單的程式碼
這裡寫圖片描述

File->Project Structure->在右側選擇Artifacts->JAR->From modules with dependencies
這裡寫圖片描述

選擇新建的Test
這裡寫圖片描述

將預設的SparkApp:jar重新名一下,並將依賴包刪除,只剩First這個module本身(因為叢集上已經安裝了jdk,scala和spark,所以那些包可以去掉節省編譯時間)
這裡寫圖片描述

在選單欄上選擇Build->Build Artifacts
這裡寫圖片描述

如圖所示的操作
這裡寫圖片描述

編譯成功後可以在對應的輸出資料夾下找到jar包
這裡寫圖片描述

需要注意:
編譯選擇Main Class時如果是手動選擇Object的話,Idea會彈出錯誤提示xx is not acceptable,而讓其自動過濾選擇的時候就不會。。。

scala程式碼中,如果註釋中有中文預設可能會編譯錯誤
在下圖設定中加入
-ENCODING UTF-8
即可
這裡寫圖片描述