1. 程式人生 > >IDEA SPARK SCALA 搭建簡單的helloworld

IDEA SPARK SCALA 搭建簡單的helloworld

新建maven工程:

  • 在第一次使用idea時,如下圖選擇新建工程
1240
Paste_Image.png
  • 如下圖,選擇maven工程,sdk通過new,選擇安裝的jdk,然後點選next:
1240
Paste_Image.png
  • 填寫groupid和artifactid
1240
Paste_Image.png
  • 專案名根據需要可修改
1240
Paste_Image.png
  • import maven
    1240
    Paste_Image.png

    配置工程屬性、工程目錄、scala庫

    如下圖,左邊為專案結構,src 目錄下為編寫的程式碼,main為程式程式碼,test為測試程式碼。pom.xml檔案為maven的打包關聯依賴及編譯檔案
1240
Paste_Image.png
  • 設定scalaSDK
    點選file –> project Structure,如下圖:
1240
Paste_Image.png
  • 點選Global Libraries, 然後點選左側 + ,選擇Scala SDK,然後再彈出框中選擇2.10.4,彈出框的model選擇我們的當前工程;
1240
Paste_Image.png 1240
Paste_Image.png 1240
Paste_Image.png
  • 設定scala程式路徑
    在model –> source 區域,如下圖,新建兩個scala資料夾,並且,main中的scala資料夾設定為source,test中的scala資料夾設定為test,點選ok完成。
1240
Paste_Image.png
  • 修改pom檔案,新增spark支援
    修改pom檔案後,maven會自行下載對應的jar包,以便實現工程庫檔案依賴。
    一般情況下,我們只需要新增scala-library、spark-core、spark-mllib、spark-sql、spark-hive幾個就夠了,如果涉及到其他內容,則另行新增便可。新增內容如下所所示:
    <dependencies>
         <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
         <dependency>
             <groupId>org.scala-lang</groupId>
             <artifactId>scala-library</artifactId>
             <version>2.11.8</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-core_2.11</artifactId>
             <version>2.1.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-mllib_2.11</artifactId>
             <version>2.1.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-sql_2.11</artifactId>
             <version>2.1.0</version>
         </dependency>
         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive_2.11 -->
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-hive_2.11</artifactId>
             <version>2.1.0</version>
         </dependency>
     </dependencies>
  • 新增完後pom檔案截圖如下所示,maven會自行下載對應庫(需要聯網),並依賴到工程中。修改完後的pom檔案如下所示:
1240
Paste_Image.png
  • 工程重新構建完畢後,可以看見maven下載的關聯包如下圖所示:
1240
Paste_Image.png

編寫helloworld

  • 在src ->main ->scala 目錄下,點選建立scala class
1240
Paste_Image.png
  • 在彈出框,名字填寫為HelloWord ,型別選擇為object,然後點選ok
1240
Paste_Image.png
  • 開啟新建的程式 helloworld,編寫程式如下並儲存:
object HelloWord {
  def main(args: Array[String]) {
    println("Hello World!");
  }
}

-右鍵點選 HelloWord 程式程式碼,點選 run HelloWord :

1240
Paste_Image.png
  • 待編譯完成後,執行結果如下圖:
1240
Paste_Image.png