Scala+Spark+Hadoop+IDEA上傳並執行任務

本文接續上一篇文章，已經在IDEA中執行Spark任務執行完畢，測試成功。

一、打包

1.1  將setMaster註釋掉

package day05

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

/**
  * 打包注意事項：1，將setMaster註釋掉
  *             2，不需要列印
  */
object SparkWordCount {

  def main(args: Array[String]): Unit = {
    //配置資訊類
    //1，setAppName(任務名稱) setMaster(表示開啟多少個執行緒執行)
    System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.5")

    val conf: SparkConf = new SparkConf().setAppName("SparkWordCount")//.setMaster("local[*]")

    //上下文物件
    val sc: SparkContext = new SparkContext(conf)

    //讀取資料(資料通過陣列 args進入)
    val lines: RDD[String] = sc.textFile(args(0))

    //處理資料
    val map01: RDD[(String, Int)] = lines.flatMap(_.split(" ")).map((_, 1))
    val wordCount: RDD[(String, Int)] = map01.reduceByKey(_ + _).sortBy(_._2, false)

    val wcToBuffer: mutable.Buffer[(String, Int)] = wordCount.collect().toBuffer
//    println(wcToBuffer)
    sc.stop()
  }
}
 

1.2 開啟 clear 並打包

（1）工具欄-->view-->Tool Buttons（右側出現 Maven Project）

（2）雙擊clean

（3）雙擊package

打包結果：（出現target、連個jar包）

注意：如果出現ClassNotFound 並且出現了只有一個Jar包的話，就將其他的沒有用的類刪掉，只留下當前類。

1.3 拷貝生成的Jar包

二、上傳

2.1 將Jar包拷貝到指定目錄下（我這兒將scala02-1.0-SNAPSHOT.jar改名為 swc.jar）

/root/swc.jar

2.2 在spark中執行

./bin/spark-submit --class day05.SparkWordCount --master spark://centos01:7077 --executor-memory 1g --total-executor-cores 2 /root/swc.jar hdfs://centos01:9000/ws hdfs://centos01:9000/outp
 

–class設定的是程式的入口點，也就是我們的驅動類，這點和Hadoop MapReduce 程式很相似。
–master是我們設定的master URL，這裡官方有詳細的引數列表： 

• local:在本地的單執行緒執行
• local[k]:在本地多執行緒執行，執行執行緒數為K
• local[*]:在本地多執行緒執行，儘可能多的執行緒數量
• spark://HOST:PORT ：連線上spark單點模式執行，埠PORT是提前配置好的，預設埠7077
• mesos://HOST:PORT ：連線上mesos(好像是一種叢集支援工具，沒有深入研究)
• yarn ：基於Hadoop的yarn執行，叢集的位置在 HADOOP_CONF_DIR ，YARN_CONF_DIR這兩個變數指定的位置

2.3 從Web ui檢視資訊是否上傳成功。

（1）檢視spark任務

（2）檢視hdfs 檔案上傳

（3）通過命令來檢視內容。

[[email protected] spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00000
(hello,12)
(java,9)
[[email protected] spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00001
(scala,7)
(new,7)
(work,7)
(python,5)
[[email protected] spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00002
(javaScript,4)
(jvm,4)
(world,3)
[[email protected] spark-1.6.3-bin-hadoop2.6]# 

完美呈現~~

歡迎訂閱關注公眾號（JAVA和人工智慧）

                                                           獲取更多免費書籍、資源、視訊資料 

文章超級連結：