2. 程式人生 > >Spark SQL原理與DataFrame、DataSet相關API操作以及程式碼介紹

Spark SQL原理與DataFrame、DataSet相關API操作以及程式碼介紹

阿新 • • 發佈：2019-02-13
//一. DataFrame建立//    1.json檔案//    val df = sqlContext.read.json("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.json")//    val df = sqlContext.read.format("json").load("G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.json")    //    sqlContext.read.format("json").load("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.json")
    //  2.parquet檔案//      val df = sqlContext.read.parquet("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\users.parquet")//      3.jdbc方式建立//      val props = new Properties()//      props.put("user","root")//      props.put("password","123456")//     val df = sqlContext.read.jdbc("jdbc:mysql://hdp1:3306/spark","student",props)
//      4.通過表建立//    df.registerTempTable("student")//    var sql = sqlContext.sql("select * from student")//    sql.printSchema()//    sql.show()//    5.avro檔案建立//    import com.databricks.spark.avro._//    val df = sqlContext.read.avro("D:/code/spark_code/course/data/users.avro")//    6.通過RDD的方式//    6.1反射方式建立DataFrame//    import sqlContext.implicits._
//    var rdd = sc.textFile("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.txt")//      .map { line =>//        val strs = line.split(",")//        Person(strs(0), strs(1).trim.toInt)//      }//    val df = rdd.toDF()//    6.2註冊元資料方法//      var rdd = sc.textFile("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.txt")//          .map { line =>//            val strs = line.split(",")//            Row(strs(0), strs(1).trim.toInt)//          }//    var structType = StructType(Array(//      StructField("name", DataTypes.StringType),//      StructField("age", DataTypes.IntegerType)//    ))//      val df = sqlContext.createDataFrame(rdd,structType)    //df操作//    df.printSchema()   //列印對應的約束資訊//    df.show()         //小資料量時候，客戶端顯示資料//    val arrs = df.collect()//    val list = df.collectAsList()//    for(i <- 0 until list.size()){//      println(list.get(i))//    }//    for(ele <- list){//      println(ele)//    }//  println(df.count())//    println(df.describe("name","age"))//    println(df.first())//    for(ele <- df.head(2) ){//      println(ele)//    }//    for(ele <- df.take(1)){//      println(ele)//    }//    for(ele <- df.columns){    //      println(ele)    //    }//    println(df.schema)//    println(df.select("age").explain())//    條件過濾//    println(df.filter(df.col("age").gt(20)).first())//    println(df.filter(df.col("age") > 20).first())//    println(df.agg(("name" -> "count")).first())//      println(df.groupBy("name").count())//    df.registerTempTable("people")//    println(sqlContext.sql("select * from people where age > 20").first())//    第二部分：Dataset//      1.Dataset的建立//    import sqlContext.implicits._//    var dS = List(Person("Kevin",24),Person("Jhon",20)).toDS()//    val list = List(Person("Kevin",24),Person("Jhon",20))//    val frame = sqlContext.createDataFrame(list)//    frame.printSchema()//      var rdd = sc.textFile("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.txt")//        .map { line =>//          val strs = line.split(",")//          Person(strs(0), strs(1).trim.toInt)//        }//      var dS = rdd.toDS()//      dS.printSchema()

相關推薦

Spark SQL原理與DataFrame、DataSet相關API操作以及程式碼介紹

//一. DataFrame建立//    1.json檔案//    val df = sqlContext.read.json("file:\\G:\\code\\source_code\\spark\\examples\\src\\main\\resources\\people.json")//    

spark之DataFrame、DataSet、RDD的區別

RDD(彈性分散式資料集) RDD是Spark中最基本的資料抽象，它代表一個不可變、可分割槽、裡面的元素可平行計算的集合，RDD是Spark Core的底層核心，Spark則是這個抽象方法的實現 DataFrame 上圖直觀地體現了DataFrame和

Spark中的RDD、DataFrame、Dataset對比

1 RDD RDD是Spark提供的最重要的抽象的概念，彈性的分散式資料集，它是一種有容錯機制的特殊集合，可以分佈在叢集的節點上，以函式式編操作集合的方式，進行各種並行操作。Spark的RDD內建了各種函式操作，舉個例子，我們編寫wordcount案例，如果使

Spark RDD、DataFrame、DataSet區別和聯絡

左側的RDD[Person]雖然以Person為型別引數，但Spark框架本身不瞭解Person類的內部結構。而右側的DataFrame卻提供了詳細的結構資訊，使得Spark SQL可以清楚地知道該資料集中包含哪些列，每列的名稱和型別各是什麼。DataFrame多了資料的結構資訊，即schema。RDD是分散

Apache Spark 系列技術直播 - Spark SQL 實踐與優化

Apache Spark 系列技術直播 Spark SQL 實踐與優化 內容簡介： SparkSQL介紹 基本原理 支援的DataSource介紹 Hue/Zepplin/Livy周邊跟SparkSQL的整合使用等 SparkSQL優化

再談RDD、DataFrame、DataSet關係以及相互轉換（JAVA API）

Spark提供了三種主要的與資料相關的API： RDD DataFrame DataSet 三者圖示 下面詳細介紹下各自的特點： RDD 主要描述：RDD是Spark提供的最主要的一個抽象概念（Resilient Distributed Dataset）

Spark SQL 筆記(7)—— DataFrame API操作案例

1 測試資料 stu.txt 1|Anaa|111111|[email protected] 2|Bob|22222|[email protected] 3|Candy|333333

Spark SQL 筆記(19)——spark SQL 總結(2) DataFrame VS SQL

1 DataFrame DataFrame = RDD + Schema DataFrame is just a type alias for Dataset of Row DataFrame ov

過濾器鏈、過濾器鏈呼叫原理與順序、過濾器配置細節、過濾器過濾型別

過濾器鏈呼叫原理與順序： web伺服器根據Filter在web.xml檔案中的註冊順序，決定先呼叫哪個Filter，當第一個Filter的doFilter方法被呼叫時，web伺服器會建立一個代表Filter鏈的FilterChain物件傳遞給該方法。在doFilter

樸素貝葉斯分類器原理與應用、EM演算法原理及例項

文章目錄 貝葉斯定理與概率論中相關概念 屬性條件獨立性假設 樸素貝葉斯分類器 樸素貝葉斯分類器公式 離散屬性與連續屬性值的分別處理 樸素貝葉斯分類器例項 拉普拉斯修正 樸素貝葉斯分類器的應用：貝葉斯垃圾郵件

李洪根 SQL SERVER 與ACCESS、EXCEL的資料轉換

熟悉SQL SERVER 2000的資料庫管理員都知道，其DTS可以進行資料的匯入匯出，其實，我們也可以使用Transact-SQL語句進行匯入匯出操作。在Transact-SQL語句中，我們主要使用OpenDataSource函式、OPENROWSET 函式，關於函式的詳細

XML格式與DataTable、DataSet、DataView格式的轉換

        /**//// <summary>        /// 將DataSet物件資料儲存為XML檔案        /// </summary>        /// <param name="dt">DataSet</param>       

RDD、DataFrame、DataSet互轉

如果需要RDD與DS或者DF之間操作，那麼都需要引入 import spark.implicits._  【spark不是包名，而是sparkSession物件的名稱】1、RDD 《-》 DataFrame    1、RDD  -》  DataFrame （確定Schema）

談談RDD、DataFrame、Dataset的區別和各自的優勢

在spark中，RDD、DataFrame、Dataset是最常用的資料型別，本博文給出筆者在使用的過程中體會到的區別和各自的優勢共性：1、RDD、DataFrame、Dataset全都是spark平臺下的分散式彈性資料集，為處理超大型資料提供便利2、三者都有惰性機制，在進行

Spark BlockManager原理與原始碼分析

1、BlockManager原理示意圖①Driver上的BlockManagerMaster管理各個節點上BlockManager的元資料資訊和維護block的狀態資訊。②每個節點上BlockManager的每個元件：        DiskStore：負責磁碟上的資料讀寫 

RDD、DataFrame、Dataset介紹

rdd 優點: 編譯時型別安全  編譯時就能檢查出型別錯誤 面向物件的程式設計風格  直接通過類名點的方式來操作資料 缺點: 序列化和反序列化的效能開銷  無論是叢集間的通訊, 還是IO操作都需要對物件的結構和資料進行序列化和反序列化. GC的效能開銷  頻繁的建立和銷燬物

maven專案的建立與配置、maven命令列操作、引數說明、依賴管理

一、建maven專案（eclipse ee版本） 選這兩項就可以建maven專案了 二、設定maven 一是修改setting.xml（maven的conf目錄） 修改本地倉庫地址：<localRepository>d:/.m2/repositor

python pandas中series與dataframe資料型別屬性及操作基礎

一）屬性 series ：.index,.values, .name,.index.name dataframe ：.columns, .index,.values 二）建立方法 ser

各種跟CV、AR相關的C/C++程式碼收集

這個頁面力圖蒐集各種跟CV，AR相關的程式碼，如無特別宣告，均是c/c++程式碼。還是一貫的標準，不求全面，只求質量。 如有特別推薦的程式碼，請在本頁留言，或者email我：cvchina AT gmail.com 通用庫/General Library RAVL Re

HTML5元素拖拽drag與拖放drop相關API

其實HTML5就是新增一些有用的API 讓我們更輕鬆的開發 從而把更多精力都放在業務邏輯上來 這些API的使用也非常簡單 不過我的記性不太好 所以還是以部落格的形式記錄下來（手動滑稽） 今天就來寫一下這個拖拽API 預設拖拽 說起拖放，其實最