Spark1.0.0 多語言程式設計之Scala實現
阿新 • • 發佈：2019-02-16
Scala作為Spark的原生語言，在開發上Spark應用程式上最大的優勢是支援所有的功能、容易追蹤bug等。試過幾種開發工具，筆者還是覺得IntelliJ IDEA開發Scala程式比較方便，當然開發Spark 應用程式也一樣。
Spark開發環境參見Spark1.0.0 開發環境快速搭建，本篇是對Spark1.0.0 多語言程式設計的需求進行scala實現。
至於在IntelliJ IDEA內如何建立scala專案，詳見使用IntelliJ IDEA開發Spark1.0.0應用程式。在本篇中建立一個名為week6的專案，並含有一個week6的包，這裡貼上class的程式碼。
1：sogou日誌資料分析scala實現
A：使用者在00:00:00到12:00:00之間的查詢數
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：527300
B：搜尋結果排名第1，但是點選次序排在第2的資料有多少?
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：79765
C：一個session內查詢次數最多的使用者的session與相應的查詢次數
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：
(11579135515147154,431)
(6383499980790535,385)
(7822241147182134,370)
(900755558064074,335)
(12385969593715146,226)
(519493440787543,223)
(787615177142486,214)
(502949445189088,210)
(2501320721983056,208)
(9165829432475153,201)
Spark開發環境參見Spark1.0.0 開發環境快速搭建，本篇是對Spark1.0.0 多語言程式設計的需求進行scala實現。
至於在IntelliJ IDEA內如何建立scala專案，詳見使用IntelliJ IDEA開發Spark1.0.0應用程式。在本篇中建立一個名為week6的專案，並含有一個week6的包，這裡貼上class的程式碼。
1：sogou日誌資料分析scala實現
A：使用者在00:00:00到12:00:00之間的查詢數
-
package week6
-
import org.apache.spark.{SparkContext, SparkConf}
-
object SogouA {
-
def main(args: Array[String]) {
-
if (args.length == 0) {
-
System.err.println("Usage: SogouA <file1>")
-
System.exit(1)
-
}
-
val conf = new SparkConf().setAppName("SogouA")
-
val sc = new SparkContext(conf)
-
val sgRDD=sc.textFile(args(0))
-
println(sgRDD.map(_.split('\t')(0)).filter(x => x >= "00:00:00" && x <= "12:00:00").count)
-
sc.stop()
-
}
- }
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouA week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：527300
B：搜尋結果排名第1，但是點選次序排在第2的資料有多少?
-
package week6
-
import org.apache.spark.{SparkContext, SparkConf}
-
object SogouB {
-
def main(args: Array[String]) {
-
if (args.length == 0) {
-
System.err.println("Usage: SogouB <file1>")
-
System.exit(1)
-
}
-
val conf = new SparkConf().setAppName("SogouB")
-
val sc = new SparkContext(conf)
-
val sgRDD=sc.textFile(args(0))
-
println(sgRDD.map(_.split('\t')).filter(_.length ==5).map(_(3).split(' ')).filter(_(0).toInt ==1).filter(_(1).toInt ==2).count)
-
sc.stop()
-
}
- }
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouB week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：79765
C：一個session內查詢次數最多的使用者的session與相應的查詢次數
-
package week6
-
import org.apache.spark.{SparkContext, SparkConf}
-
import org.apache.spark.SparkContext._
-
object SogouC {
-
def main(args: Array[String]) {
-
if (args.length == 0) {
-
System.err.println("Usage: SogouC <file1>")
-
System.exit(1)
-
}
-
val conf = new SparkConf().setAppName("SogouC")
-
val sc = new SparkContext(conf)
-
val sgRDD=sc.textFile(args(0))
-
sgRDD.map(_.split('\t')).filter(_.length ==5).map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10).foreach(println)
-
sc.stop()
-
}
- }
客戶端執行命令：bin/spark-submit --master spark://hadoop1:7077 --executor-memory 3g --class week6.SogouC week6.jar hdfs://hadoop1:8000/dataguru/data/mini.txt
結果：
(11579135515147154,431)
(6383499980790535,385)
(7822241147182134,370)
(900755558064074,335)
(12385969593715146,226)
(519493440787543,223)
(787615177142486,214)
(502949445189088,210)
(2501320721983056,208)
(9165829432475153,201)