IDEA SPARK SCALA 搭建簡單的helloworld
阿新 • • 發佈:2018-12-25
新建maven工程:
- 在第一次使用idea時,如下圖選擇新建工程
Paste_Image.png
- 如下圖,選擇maven工程,sdk通過new,選擇安裝的jdk,然後點選next:
Paste_Image.png
- 填寫groupid和artifactid
Paste_Image.png
- 專案名根據需要可修改
Paste_Image.png
- import maven
Paste_Image.png配置工程屬性、工程目錄、scala庫
如下圖,左邊為專案結構,src 目錄下為編寫的程式碼,main為程式程式碼,test為測試程式碼。pom.xml檔案為maven的打包關聯依賴及編譯檔案
Paste_Image.png
- 設定scalaSDK
點選file –> project Structure,如下圖:
Paste_Image.png
- 點選Global Libraries, 然後點選左側 + ,選擇Scala SDK,然後再彈出框中選擇2.10.4,彈出框的model選擇我們的當前工程;
Paste_Image.png
Paste_Image.png
Paste_Image.png
- 設定scala程式路徑
在model –> source 區域,如下圖,新建兩個scala資料夾,並且,main中的scala資料夾設定為source,test中的scala資料夾設定為test,點選ok完成。
Paste_Image.png
- 修改pom檔案,新增spark支援
修改pom檔案後,maven會自行下載對應的jar包,以便實現工程庫檔案依賴。
一般情況下,我們只需要新增scala-library、spark-core、spark-mllib、spark-sql、spark-hive幾個就夠了,如果涉及到其他內容,則另行新增便可。新增內容如下所所示:<dependencies> <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library --> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.1.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11 --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.1.0</version> </dependency> </dependencies>
- 新增完後pom檔案截圖如下所示,maven會自行下載對應庫(需要聯網),並依賴到工程中。修改完後的pom檔案如下所示:
Paste_Image.png
- 工程重新構建完畢後,可以看見maven下載的關聯包如下圖所示:
Paste_Image.png
編寫helloworld
- 在src ->main ->scala 目錄下,點選建立scala class
Paste_Image.png
- 在彈出框,名字填寫為HelloWord ,型別選擇為object,然後點選ok
Paste_Image.png
- 開啟新建的程式 helloworld,編寫程式如下並儲存:
object HelloWord {
def main(args: Array[String]) {
println("Hello World!");
}
}
-右鍵點選 HelloWord 程式程式碼,點選 run HelloWord :
Paste_Image.png
- 待編譯完成後,執行結果如下圖:
Paste_Image.png