import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.functions._

/**
  */
object sparkDataframe {


  def main(args: Array[String]): Unit = {


    val conf = new SparkConf().setMaster("local[*]").setAppName("anti_Join")

    val sqlcontext = new 
 
SQLContext(new SparkContext(conf))

    import sqlcontext.implicits._

    val scoreDF = Seq((1, "sk", 99), (2, "jim", 72), (1, "sk", 99)).toDF("id", "name", "score")

    val stuDF = Seq((1, "sk", 99), (2, "jim", 72), (3, "jiem", 82)).toDF("id", "name", "score")

    /*
    * UDF的兩種模式
    *
    * 1.sqlcontext註冊udf,包含兩個變數,靜態
 
    *
    * 2.便動態的UDF
    *
    * */
sqlcontext.udf.register("nameScore", (name: String, score: String) => {
      name match {
        case name: String if name.startsWith("s") => "China"
case _ => "USA"
}
    })

    val nameScores = udf((name: String, score: String) => {
      name match 
 
{
        case name: String if name.startsWith("s") => "China"
case _ => "USA"
}
    })

    scoreDF.selectExpr("nameScore(name,score) as Country").show()

    scoreDF.select(nameScores($"name",$"score").as("Cout")).show()


  }

}

1. Spark SQL 程式開發過程中，我們有兩種方式確定 schema，第一種是反射推斷 schema，如本文的案例二，這種方式下，我們需要定義樣本類 (case class) 來對應資料的列;第二種方式是通過程式設計方式來確定 schema，這種方式主要是通過 Spark SQL 提供的 StructType 和 StructField 等 API 來程式設計實現，這種方式下我們不需要定義樣本類，如本文中的案例一。

   在程式實現中，我們需要使用以便隱式的把 RDD 轉化成 DataFrame 來操作(Scala 隱式轉換)。

2. 通常來說，我們有兩種方式瞭解 Spark 程式的執行流程。第一種是通過在控制檯觀察輸出日誌，另一種則更直觀，就是通過 Spark Web Console 來觀察 Driver 程式裡各個部分產生的 job 資訊以及 job 裡包含的 stages 資訊。
3. 需要指出的是，熟練的掌握 Spark SQL/DataFrame 的知識對學習最新的 Spark 機器學習庫 ML Pipeline 至關重要，因為 ML Pipeline 使用 DataFrame 作為資料集來支援多種的資料型別。