記錄下自己使用idea匯入spark examples專案的過程。

spark examples 專案可以給我們提供很多有益的參考，經常看看這些程式碼有助於提高我們寫scala程式碼的水平。

只匯入spark-example專案，其他不管，這個專案使用maven管理依賴，匯入的時候選擇maven.

我並未測試全部的程式，只測試了scala包中前面幾個，第一個廣播變數的測試的時候報錯，找不到google,maps.

遂在pom包中新增guava的依賴。

    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <scope>compile</scope>
    </dependency>

一開始直接ctrl+shift+f10會報找不到sparksession之類的錯誤，解決方法：ctrl+r 替換provided->compile

val spark = SparkSession
  .builder
  .appName("GroupBy Test")
  .master("local[*]")
  .getOrCreate()

直接右鍵執行或快捷鍵執行的時候會報沒有提供有效的master url,為了直接除錯程式，在程式碼中加入

      .config("spark.master","local[*]") or .master("local[*]")即可。