在spark中有重要的元件SparkContext和SQLContext，在讀取資料檔案時我們可以通過這兩個元件進行不同形式的讀取，比如：

val conf = new SparkConf().setMaster("local").setAppName("testRead")
val sc = new SparkContext(conf)

val readFile = sc.textFile("C:\\Users\\Desktop\\part-00006")

val conf = new SparkConf().setMaster("local").setAppName("testRead")
val sc = new SparkContext(conf)
val ssc = new SQLContext(sc)
ssc.read.text()    //文字檔案（包括txt檔案和無副檔名的文字檔案）
ssc.read.parquet()  //一種大資料檔案，儲存內容和格式都與文字檔案一致；
ssc.read.json()  //讀取json檔案或者json字串

         通過上面圖我們可以清楚的看到兩種方式的結果集分別是RDD[T]和DataFrame，接下來就跟隨小編一起來看它們之間的區別；

 No1.以Person實體為例探究RDD和DataFrame

        RDD雖然以Person為型別引數，但是Spark框架並不瞭解Person類的內部結構；右側的DataFrame卻提供了詳細的結構資訊，使得Spark Sql可以清楚地知道資料集中有哪些列，每列的名稱和型別分別是什麼。

     DataFrame中多了資料集的結構資訊即Schema，所以我們在獲取到DataFrame結果集之後可以通過printSchema方法來檢視當前資料檔案的結構資訊。所以我們可以這樣理解，RDD是分散式的Java物件集合（這也就是為什麼RDD會有Broadcast廣播變數的方法），DataFrame是分散式的Row物件的集合。

     DataFrame除了提供比RDD更豐富的運算元之外，更重要的特點是提升執行效率、減少資料讀取以及執行計劃的優化。

No2.DataSet和DataFrame的對比

        DataSet可以理解成DataFrame的一種特例，主要區別是DataSet每一個record儲存的是一個強型別值而不是一個Row。

      DataFrame和DataSet可以相互轉化，df.as[ElementType]這樣可以把DataFrame轉化為DataSet，ds.toDF()這樣可以把DataSet轉化為DataFrame。

No3.區別

✎.RDD：

✎.DataFrame：

testDF.foreach{
  line =>
    val col1=line.getAs[String]("col1")
    val col2=line.getAs[String]("col2")

}

dataDF.createOrReplaceTempView("tmp")

spark.sql("select  ROW,DATE from tmp where DATE is not null order by DATE").show(100,false)

//儲存
val saveoptions = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")
datawDF.write.format("com.databricks.spark.csv").mode(SaveMode.Overwrite).options(saveoptions).save()
//讀取
val options = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://172.xx.xx.xx:9000/test")
val datarDF= spark.read.options(options).format("com.databricks.spark.csv").load()

✎.DataSet與DataFrame

case class Coltest(col1:String,col2:Int)extends Serializable //定義欄位名和型別
/**
  rdd
   ("a", 1)
  ("b", 1)
  ("a", 1)
  * */
    val test: Dataset[Coltest]=rdd.map{line=>
      Coltest(line._1,line._2)
    }.toDS
    test.map{
      line=>
        println(line.col1)
        println(line.col2)
    }