sbt介紹
sbt是一個程式碼編譯工具，是scala界的mvn，可以編譯scala，java等，需要java1.6以上。

sbt專案環境建立
sbt編譯需要固定的目錄格式，並且需要聯網，sbt會將依賴的jar包下載到使用者home的.ivy2下面，目錄結構如下：

1. |--build.sbt
   
2. |--lib
   
3. |--project
   
4. |--src
   
5. |   |--main
   
6. |   |    |--scala
   
7. |   |--test
   
8. |         |--scala
   
9. |--sbt
   
10. |--target

複製程式碼 以上建立目錄如下：

1. mkdir -p ~/spark_wordcount/lib
   
2. mkdir -p ~/spark_wordcount/project
   
3. mkdir -p ~/spark_wordcount/src/main/scala
   
4. mkdir -p ~/spark_wordcount/src/test/scala
   
5. mkdir -p ~/spark_wordcount/target

複製程式碼 1、下載sbt通用平臺壓縮包：sbt-0.13.5.tgz http://www.scala-sbt.org/download.html 2、建立目錄，解壓檔案到所建立目錄 $ sudo mkdir /usr/local/sbt$  $ sudo tar -zxvf sbt-0.13.5.tgz -C /usr/local 3、建立啟動sbt的指令碼檔案 $ cd /usr/local/sbt/ $ vim sbt /*在sbt文字檔案中新增  SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M" java $SBT_OPTS -jar /usr/local/sbt/bin/sbt-launch.jar "

[email protected]"  4、修改sbt檔案許可權 $ chmod u+x sbt  5、配置PATH環境變數，保證在控制檯中可以使用sbt命令 $ vim ~/.bashrc /*在檔案尾部新增如下程式碼後，儲存退出*/ export PATH=/opt/scala/sbt/:$PATH 6、/*使配置檔案立刻生效*/ $ source ~/.bashrc 7、測試sbt是否安裝成功 /*第一次執行時，會下載一些檔案包，然後才能正常使用，要確保聯網了，安裝成功後顯示如下*/ $ sbt sbt-version [info] Set current project to sbt (in build file:/opt/scala/sbt/) [info] 0.13.5 8、在PROJECT_HOME/src/main/scala/下面建立scala檔案 import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp
{
    def main(args: Array[String])
    {
        val logFile = "/usr/local/spark-1.5.2/README.md"
        val conf = new SparkConf().setAppName("Simple Application")
        val sc = new SparkContext(conf)
        val logData = sc.textFile(logFile, 2).cache()
        val numAs = logData.filter(line => line.contains("a")).count()
        val numBs = logData.filter(line => line.contains("b")).count()
        println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
    }
}
9、在PROJECT_HOME/下編輯simple.sbt name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.0.2"
resolvers += "Akka Repository" at "http://repo.akka.io/releases/"
10、編譯打包 在PROJECT_HOME目錄下執行： sbt package 11、提交執行 SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] /PROJECT_HOME/target/scala-2.10/simple-project_2.10-1.0.jar