1.概念：

（1）DataSet和RDD

  大資料的框架許多都要把記憶體中的資料往磁盤裡寫，所以DataSet取代rdd和dataframe。因為，現階段底層序列化機制使用的是java的或者Kryo的形式。但是，java序列化出來的資料很大，影響儲存Kryo對於小資料量的處理很好，但是資料量一大，又會出現問題，所以官方的解決方法是使用自定義的編碼器（Encoder）去序列化

（2）DataSet和DataFrame

  DataSet跟DataFrame還是有挺大區別的，DataFrame開發都是寫sql，但是DataSet是使用類似RDD的API。所以可以理解成DataSet就是存了個數據型別的RDD

2.DataSet\DataFrame\RDD的區別：

（1）相同點：           都是分散式資料集           DataFrame底層是RDD，但是DataSet不是，不過他們最後都是轉換成RDD執行           DataSet和DataFrame的相同點都是有資料特徵、資料型別的分散式資料集(schema) （2）不同點：           （a）schema資訊：                 RDD中的資料是沒有資料型別的                 DataFrame中的資料是弱資料型別，不會做資料型別檢查                     雖然有schema規定了資料型別，但是編譯時是不會報錯的，執行時才會報錯                 DataSet中的資料型別是強資料型別           （b）序列化機制：                 RDD和DataFrame預設的序列化機制是java的序列化，可以修改為Kyro的機制                 DataSet使用自定義的資料編碼器進行序列化和反序列化

3.建立方式：

（1）要使用toDS之前

import sqlContext.implicits._

（2）將記憶體中的資料轉換成DataSet

// Encoders for most common types are automatically provided by importing 
sqlContext.implicits._
val ds = Seq(1, 2, 3).toDS()
ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)

                其中：                 collect()：返回一個Array，包含所有行資訊                 Returns an array that contains all rows in this Dataset.

（3）可以直接把case class物件轉化成DataSet

    // Encoders are also created for case classes.
    case class Person(name: String, age: Long)
    val ds = Seq(Person("Andy", 32)).toDS()

（4）將DataFrame轉換成DataSet，不過要求是DataFrame的資料型別必須是case class

並且要求DataFrame的資料型別必須和case class一致（順序也必須一致）

4.程式碼

package _0729DF
import org.apache.spark
import org.apache.spark.sql.{Dataset, SparkSession}
//import  org.apache.spark


/**
  * 
  */
object Dataset extends App{
//  import spark.implicits._
//
//  val ds = Seq(1, 2, 3).toDS()
//  ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)
//
//
//  // Encoders are also created for case classes.
//  case class Person(name: String, age: Long)
//  val ds = Seq(Person("Andy", 32)).toDS()
//  ds.show


  val session = SparkSession.builder()
    .appName("app")
    .master("local")
    .getOrCreate()

  val sqlContext = session.sqlContext
  val wcDs = sqlContext.read.textFile("datas/halibote.txt")

  // 匯入隱式轉換
  import session.implicits._
  val wordData=wcDs.flatMap(_.split(" "))
  wordData.createTempView("t_word")

  wordData.show()
  //wordData.printSchema()

  // Encoders for most common types are automatically provided by importing sqlContext.implicits._
  val ds=Seq(1,2,3).toDS()
  ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)

//  // Encoders are also created for case classes.
//  case class Person(name: String, age: Long)
//  val ds = Seq(Person("Andy", 32)).toDS()


  // DataFrames can be converted to a Dataset by providing a class. Mapping will be done by name.
  case class Person(age:Long,name:String)
  val path = "datas/people.json"
  val people: Dataset[Person] = sqlContext.read.json(path).as[Person]
  people.show()


}