1. 程式人生 > >Spark本地開發環境配置(windows/Intellij IDEA 篇)

Spark本地開發環境配置(windows/Intellij IDEA 篇)

前言

Intellij IDEA是一個蠻不錯的IDE,在java/scala領域深得人心。筆者之前使用的是Eclipse那一套開發環境,雖然也不錯,但忍不住好奇心的驅使,折騰了一下IDEA,將自己摸索過程總結一下,方便Spark愛好者參考。

1.配置前提

  • JDK安裝。 請自行前往oracle官方網站下載安裝,並在command命令列視窗確認java -version 可以返回版本號,否則的話要去系統環境變數設定位置確認是否java已經被新增到PATH中
  • Scala下載安裝。移步官網 http://www.scala-lang.org/ 下載並安裝即可。同第1步,要在command命令列下確認敲擊scala可以進入互動式命令視窗,否則請確認環境變數的配置。
  • spark原始碼下載。官方網站 http://spark.apache.org/downloads.html 上提供有各種hadoop版本的預編譯版spark程式碼,理論上要根據你在用的hadoop版本來相應選擇;
  • 如果要在本機上執行則必須配置Hadoop環境變數否則執行不起來

2.配置開始

  • 安裝IDEA 的scala外掛 步驟如下圖所示,筆者已經安裝過,故右方顯示已經存在該外掛。第一次安裝時,在plugins處輸入scala關鍵詞搜尋,在聯網環境下點選安裝即可。在這裡插入圖片描述
  • 建立專案並匯入相應依賴包 如下圖指引,新建專案時,選擇scala,然後點選“下一步”,這裡Project SDK是java的jdk,如果沒有預設加載出來,點選New,手工定位到jdk的目錄提交上來即可。Scala SDK那裡如果預設沒有加載出來,點選Create,在彈出的視窗中安預設勾選的System點選OK即可。 在這裡插入圖片描述
    在這裡插入圖片描述 接下來,我們匯入上面下載好的spark原始碼。按下圖指引操作, 在+號處選擇java, 然後定位到你上面步驟中將spark程式解壓到的目錄位置,確認。 在這裡插入圖片描述 在這裡插入圖片描述 很值得注意的環境變數: 在這裡插入圖片描述

結束語

至此開發Spark的開發環境已經配置好了 ,小夥伴們可以去用Idea開發Spark程式了