原文連結   譯者：小村長

本專案是 Apache Spark1.6.1方文件的中文翻譯版，之前翻譯過spark1.5，由於網站有組織翻譯Spark1.6.1所以我又重新翻譯了一下，我翻譯的這一章和spark1.5一樣。本次翻譯主要針對對Spark感興趣和致力於從事大資料方法開發的人員提供有價值的中文資料，希望能夠對大家的工作和學習有所幫助。

這個翻譯本應該在二月份完成，由於一直出差加上加班導致短短一篇文章遲遲沒有完成，在此想大家表示深深的歉意。同時也希望有能力的童鞋能夠一起努力推動大資料在中國的發展，讓天下沒有難學的技術謝謝大家。

Quick Start

本篇文章介紹了Spark快速入門. 我們將第一次通過Spark的Shell介紹API(通過 Python 或Scala), 然後展示怎麼通過Java,Scala和Python寫應用. 看 

跟著下面指導, 第一步下載安裝包從 Spark官方網址. 我們不會使用HDFS,你可以下載一個匹配任何Hadoop版本的發行版本.

Spark Shell互動分析

基礎

Spark Shell提供了一個簡單學習API的方式, 同時它也是一個有用的互動分析工具. 它可以使用Scala(它是一種執行在Java虛擬機器上並且可以使用Java依賴包)或者Python. 切換到Spark目錄並啟動按照以下方式啟動它:

./bin/spark-shell

Spark的主要抽象是一個分散式資料集被稱為彈性分散式資料集 (RDD). RDDs可以通過Hadoop上面的輸入格式( 例如 HDFS 檔案)或者通過其他的RDD轉換. 讓我們通過Spark目錄中的README檔案建立一個新的RDD:

scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3

RDDs 有, 它能夠返回值, 和, 它能夠返回一個新的RDDs. Let’s start with a few actions:

scala> textFile.count() // Number of items in this RDD
res0: Long = 126

scala> textFile.first() // First item in this RDD
 

res1: String = # Apache Spark

現在讓我們使用轉換操作.我們將使用 filter 轉換操作返回一個新的RDD包含這個檔案的子集.

scala> val linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark: spark.RDD[String] = spark.FilteredRDD@7dd4af09

我們能夠通過鏈式程式設計把transformations 操作和 actions操作連線一起:

scala> textFile.filter(line => line.contains("Spark")).count() // How many lines contain "Spark"?
res3: Long = 15

更多的RDD操作

RDD操作因子和轉換因子可以用來進行更加複雜的計算.讓我們尋找到需要的資料:

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
res4: Long = 15

第一個map一行整數數值,建立一個新的RDD. reduce被呼叫來查詢最多資料一行的資料個數. map的引數和 reduce的引數是Scala函式自變數(閉包),我們能夠使用任何Scala或Java的語言的特性. 例如, 我們很容易的呼叫在其他地方定義的函式. 我們使用 Math.max()函式使程式碼很容易理解:

scala> import java.lang.Math
import java.lang.Math

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))
res5: Int = 15

通用的資料處理流程是MapReduce,Hadoop廣泛使用. Spark很容易的繼承MapReduce計算流程:

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
wordCounts: spark.RDD[(String, Int)] = spark.ShuffledAggregatedRDD@71f027b8

這裡, 我們組合了 flatMap, map, 和reduceByKey 轉換因子來計算檔案中每個單詞的數量通過一個RDD (String, Int) 對. 通過Shell統計單數的數量, 我們能夠使用 collect 因子:

scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)

快取

Spark也支援把一個數據集放到一個叢集的快取裡面.當資料多次訪問它很有用,例如當你查詢一個常用的資料集或者執行一個 PageRank演算法的時候. 舉一個簡單的例子, 讓我們把 linesWithSpark 資料集快取起來:

scala> linesWithSpark.cache()
res7: spark.RDD[String] = spark.FilteredRDD@17e51082

scala> linesWithSpark.count()
res8: Long = 19

scala> linesWithSpark.count()
res9: Long = 19

它可能是不明智的用Spark瀏覽和快取一個100行的資料. 這個部分通常運用在大的資料集上, 當叢集有十個甚至成千上百個節點的時候. 你也能夠通過 bin/spark-shell來連線叢集, 更多的描述請看 programming guide.

獨立的應用

假如我希望開發一個獨立的應用通過Spark API. 我們可以通過 Scala (with sbt), Java (with Maven), and Python來呼叫開發Spark API.

• Scala
• Java

現在我們建立一個簡單的Spark應用,實際上, 它的名字是 SimpleApp.scala:

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}

注意一個應用應該定義在一個 main()函式裡面或者通過繼承scala.App. scala.App的子類可能不能正確的工作.

這個程式僅僅是統計README檔案中包含‘a’和‘b’的數量.注意你需要替換你的本地的YOUR_SPARK_HOME 環境變數. 不同於前面的Spark shell例子, 它需要初始化SparkContext, 我們需要初始化 SparkContext作為程式執行的一部分.

我們需要建立一個 SparkConf 物件，它包含了我們應用所包含的資訊.

我們的應用依賴Spark API, 所以我們也包含sbt 配置檔案, simple.sbt, 它包含了Spark的一些依賴. 這個檔案增加一個倉庫，而這些倉庫是Spark執行不可缺少的一部分:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"

為了使 sbt能夠正確的工作, 我們需要佈局SimpleApp.scala 和simple.sbt按計劃執行這種型別結構.一旦配置正確, 我們能夠建立一個JAR包包含這個應用的程式碼， 然後使用 spark-submit 來執行我們的程式.

# Your directory layout should look like this
$ find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

# Package a jar containing your application
$ sbt package
...
[info] Packaging {..}/{..}/target/scala-2.10/simple-project_2.10-1.0.jar

# Use spark-submit to run your application
$ YOUR_SPARK_HOME/bin/spark-submit \
  --class "SimpleApp" \
  --master local[4] \
  target/scala-2.10/simple-project_2.10-1.0.jar
...
Lines with a: 46, Lines with b: 23

下一章

配置執行你的第一個Spark程式!

• 想深入的瞭解SparkAPI, 可以開啟 Spark programming guide, 或者看“Programming Guides” 選單瞭解其他元件.
• 最後, Spark包含幾個簡單的例項 (Scala, Java, Python, R). 你可以按照下面的例項執行他們:

# For Scala and Java, use run-example:
./bin/run-example SparkPi

# For Python examples, use spark-submit directly:
./bin/spark-submit examples/src/main/python/pi.py

# For R examples, use spark-submit directly:
./bin/spark-submit examples/src/main/r/dataframe.R