package com.ws.jdbc
import org.apache.spark.sql.{DataFrame, SparkSession}

object JsonSource {

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession.builder().appName("JsonSource").master("local[*]").getOrCreate()

    //讀取json資料，指定一個目錄 ,注意： 如果是hadoop或者spark生成的資料，後面又手動新增資料，需要刪掉描述資訊才能正確讀取
    val jsonData: DataFrame = sparkSession.read.json("E:\\bigData\\testdata\\move.json")

    val result = jsonData.limit(10)

    result.printSchema()

    result.show()

    sparkSession.stop()
  }
}