1.準備環境

• win7
• jdk8
• scala-2.11.8
• spark 2.0.2
• apache-maven-3.3.9

軟體安裝好設定好環境變數
maven需要設定國內的伺服器，不然是半天都下載不了
國內伺服器 maven的mirror

2.idea設定

2.1 新建Maven工程

設定Auto-Import，maven會自己關聯相關的包

寫個程式測試一下scala環境

寫個wordcount測試spark環境

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by Administrator on 2016-12-13.
  */
 

object Wordcount {
  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.setAppName("my word count")
    conf.setMaster("local")

    val sc = new SparkContext(conf)

    //    var line = sc.textFile(args(0))
    val lines = sc.textFile("F:\\vmware\\share\\soft\\spark-1.6.0-bin-hadoop2.6\\README.md"
 
)

    //對每一行的字串進行單詞拆分並把所有行的拆分結果通過flat合併成為一個
    val words = lines.flatMap{ line => line.split(" ")}
    val pairs = words.map(word => (word,1))

    val wordCounts = pairs.reduceByKey(_+_)

    wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " = " + wordNumberPair._2))
    sc.stop()

  }
}
 

成功執行