2. 程式人生 > >Apache Spark 系列技術直播 - Spark SQL 實踐與優化

Apache Spark 系列技術直播 - Spark SQL 實踐與優化

阿新 • • 發佈：2018-11-23

Apache Spark 系列技術直播

Spark SQL 實踐與優化

內容簡介：

  • SparkSQL介紹

    • 基本原理
    • 支援的DataSource介紹
    • Hue/Zepplin/Livy周邊跟SparkSQL的整合使用等

  • SparkSQL優化

    • SparkSQL Catalyst優化
    • AE優化
    • Shuffle優化

直播時間： 2018.11.27 週二 晚 19：00 - 20：00

歡迎加入釘釘收看直播

入群方式：
image

相關推薦

Apache Spark 系列技術直播 - Spark SQL 實踐與優化

Apache Spark 系列技術直播 Spark SQL 實踐與優化 內容簡介： SparkSQL介紹 基本原理 支援的DataSource介紹 Hue/Zepplin/Livy周邊跟SparkSQL的整合使用等 SparkSQL優化

#Apache Spark系列技術直播# 第四講 【 機器學習介紹與Spark MLlib實踐 】

Apache Spark系列技術直播--第四講 機器學習介紹與Spark MLlib實踐 直播時間：2018.12.06 19:00 - 20:00 主講人：江宇(燕回) 阿里巴巴計算平臺EMR技術專家 內容提要：本次講座主要面對的是機器學習的入門者，以及想要使用Spark來進行機器學習的使用者。我們會

# Apache Spark系列技術直播# 第四講 【 機器學習介紹與Spark MLlib實踐 】

主講人：江宇(燕回) 阿里巴巴計算平臺EMR技術專家 直播時間：2018.12.06 19:00 - 20:00 內容提要：本次講座主要面對的是機器學習的入門者，以及想要使用Spark來進行機器學習的使用者。我們會介紹一下機器學習相關領域的基礎知識，以及機器學習在spark上面的實踐，同時給出我們的一些使

# Apache Spark系列技術直播# 第八講 【 微軟Azure平臺利用Intel Analytics Zoo構建AI客服支援實踐 】

直播時間2019.01.10（週四） 19:00 - 20:00 主講人：黃凱——Intel大資料技術團隊軟體工程師。衛雨青——Microsoft C+AI 團隊軟體工程師。 簡介：Analytics Zoo (https://github.com/intel-analytics/analytics-zo

# Apache Spark系列技術直播# 第五講【 Spark RDD程式設計入門 】

內容提要：本次講座主要涵蓋Spark RDD程式設計入門基礎，包括： Spark、RDD簡介 RDD API簡介 打包與spark-submit 效能分析與調優基礎 主講人：王道遠(健身) 阿里巴巴計算平臺EMR技術專家 直播時間：2018.12.13（本週四）19:00 - 20

#Apache Spark系列技術直播# 第六講【 What's New in Apache Spark 2.4? 】

Apache Spark系列技術直播第六講 【 What's New in Apache Spark 2.4? 】 Abstract(簡介): This talk will provide an overview of the major features and enhancements in Spar

【Spark系列7】Spark如何讀寫hive

hive資料表建立可以在hive上建立，或者使用hiveContext.sql（“create table ...."） 1） 寫入hive表 case class Person(name:String,col1:Int,col2:String) val sc = ne

spark系列-8、Spark Streaming

參考連結：http://spark.apache.org/docs/latest/streaming-programming-guide.html 一、Spark Streaming 介紹 Spark Streaming是核心Spark API的擴充套件，可實現實時資料流的可伸縮，高吞吐量，容錯流處理。資料可

采用Opserver來監控你的ASP.NET項目系列(二、監控SQL Server與Asp.Net項目)

我們 cto 存儲 nodes index ring username nod 之前 前言 之前有過2篇關於如何監控ASP.NET core項目的文章,有興趣的也可以看看. 今天我們主要來介紹一下,如何使用Opserver監控我們的SQL Server 和ASP.NET

Ali-HBase的SQL實踐與改進

支持 瘦客戶端 數據類型 利用 巴巴 sql 海量 穩定性 最終 摘要： 2017雲棲大會Hbase專場，阿裏巴巴技術專家天穆帶來Ali-HBase的SQL實踐與改進的演講。本文主要從為什麽需要SQL開始談起，進而講解了SQL on Hbase，接著著重分享了Ali-Hba

Redis實踐系列丨Codis資料遷移原理與優化

Codis介紹 Codis 是一種Redis叢集的實現方案，與Redis社群的Redis cluster類似，基於slot的分片機制構建一個更大的Redis節點叢集，對於連線到codis的Redis客戶端來說, 除了部分不支援的命令外，與連線開源的 Redis Server 沒有明顯的區別, 客戶端程式

運維不迷茫，虎牙直播的SRE實踐與思考

本文根據張觀石老師在〖Gdevops 2017全球敏捷運維峰會廣州站〗現場演講內容整理而成。 很榮幸被邀請來Gdevops峰會作分享，我叫張觀石，目前在虎牙直播負責業務運維工作。在正式開講之前，先和大家談談我個人對運維的三點思考，拋個引子： 對運維的思考 1、傳統運維窘境 我們運維一般是這樣的，把

採用Opserver來監控你的ASP.NET專案系列(二、監控SQL Server與Asp.Net專案)

原文: 採用Opserver來監控你的ASP.NET專案系列(二、監控SQL Server與Asp.Net專案) 前 言 之前有過2篇關於如何監控ASP.NET core專案的文章,有興趣的也可以看看.   今天我們主要來介紹一下,如何使用Opserver監控我們的SQL Serve

Android多渠道打包方案的實踐與優化

目前使用過的多渠道打包方式有兩種 ，一種是通過gradle打包，還有一種是美團的多渠道打包方案具體詳情見這裡 1、Gradle打包 1.1、在Androidmanifest.xml中新增 <meta-data android:name

分享一個基於小米 soar 的開源 sql 分析與優化的 WEB 圖形化工具

tst 自己 file 圖片 pymysql 清除 cfg 線上 python soar-web 基於小米 soar 的開源 sql 分析與優化的 WEB 圖形化工具，支持 soar 配置的添加、修改、復制，多配置切換，配置的導出、導入與導入功能。 環境需求 python3

百度海量日誌處理：任務排程實踐與優化

作者簡介 運小軍 百度高階研發工程師 負責百度運維部大規模日誌處理、海量事件資料儲存相關設計研發工作，在分散式系統架構、大資料儲存計算、高效能網路服務和即時通訊服務有廣泛實踐經驗。 乾貨概覽 本文主要介紹百度運維部監控架構團隊在處理大規模日誌計算任務時，為保證任務分配均勻性和穩定性，對原始一致性雜湊

BAT大廠APP架構演進實踐與優化之路

課程地址 www.icourse8.com/h-pd-318.html#_pp=2_323 第1章 打車課程專案整體介紹 第2章 需求分析和工作量化 第3章 專案規範與團隊協作 第4章 啟動過渡頁面開發 第5章 OkHttp 3.

全民K歌React Native實踐與優化

PPT主題:全民K歌React Native實踐與優化 嘉賓:袁聰 1)React Native,H5,Native的優缺點 2)React Native優化——Bundle拆分 • 業務分離，按需載入，減少資源消耗 • 避免執行大量JavaScri

spark入門系列教程三——spark sql(一）

Spark SQL是用於結構化資料處理的Spark模組，可以通過sql、dataset、dataframe與spark sql進行互動。更多理論性知識請移步官網http://spark.apache.org/docs/2.3.1/sql-programming-guide.html 在spark 2.0以前

spark sql 實踐（續）

前言 之前一篇文章《spark sql 在mysql的應用實踐》 已經簡單描述了spark sql 在我們的業務場景的實踐、開發遇到的問題和叢集的佇列分配問題。這篇主要介紹spark dataset 的cache，瞭解其引數，基本原理和簡單的原始碼分析。