Spark是一個Apache專案，它被標榜為“快如閃電的叢集計算”。它擁有一個繁榮的開源社群，並且是目前最活躍的Apache專案。

    Spark提供了一個更快、更通用的資料處理平臺。和Hadoop相比，Spark可以讓你的程式在記憶體中執行時速度提升100倍，或者在磁碟上執行時速度提升10倍。同時spark也讓傳統的mapreducejob開發變得更加簡單快捷。之前我們大聖眾包小編也為大家整理過Spark書單和方法，而本文將簡單介紹幾個經典hadoop的mr按理用spark實現，來讓大家熟悉spark的開發。

　　最大值最小值

　　求最大值最小值一直是Hadoop的經典案例，我們用Spark來實現一下，藉此感受一下spark中mr的思想和實現方式。話不多說直接上code

　　預期結果：

　　max:1001min:2

　　思路和hadoop中的mr類似，設定一個key，value為需要求最大與最小值的集合，然後再groupBykey聚合在一起處理。第二個方法就更簡單，效能也更好。

　　平均值問題

　　求每個key對應的平均值是常見的案例，在spark中處理類似問題常常會用到combineByKey這個函式，詳細介紹請google一下用法，下面看程式碼：

　　我們讓每個partiton先求出單個partition內各個key對應的所有整數的和sum以及個數count，然後返回一個pair(sum,count)在shuffle後累加各個key對應的所有sum和count,再相除得到均值.

　　TopN問題

　　Topn問題同樣也是hadoop種體現mr思想的經典案例,那麼在spark中如何方便快捷的解決呢：

　　思路很簡單，把資料groupBykey以後按key形成分組然後取每個分組最大的2個。預期結果：

　　以上簡單介紹了一下hadoop中常見的3個案例在spark中的實現。如果讀者們已經接觸過或者寫過一些hadoop的mapreducejob，那麼會不會覺得在spark中寫起來方便快捷很多呢。