Spark SQL

Spark、Flink、CarbonData技術實踐最佳案例解析

當前無論是傳統企業還是網際網路公司對大資料實時分析和處理的要求越來越高,資料越實時價值越大,面向毫秒~秒級的實時大資料計算場景,Spark和Flink各有所長。CarbonData是一種高效能大資料儲存方案,已

Hello Spark! | Spark,從入門到精通

歡迎閱讀美圖資料技術團隊的「Spark,從入門到精通」系列文章,本系列文章將由淺入深為大家介紹 Spark,從框架入門到底層架構的實現,相信總有一種姿勢適合你,歡迎大家持續關注:) 什麼是 Spark?

Yearning 1.3.1釋出,開源 SQL 稽核平臺

Yearning SQL稽核平臺 v1.3.1釋出了。 Yearning 是基於inception的web端SQL稽核平臺,可為dba提供流程化規範化的SQL提交流程。具有稽核,審計,查詢,多許可權劃分等多種滿

Spark2.1.0模型設計與基本架構(上)

隨著近十年網際網路的迅猛發展,越來越多的人融入了網際網路——利用搜索引擎查詢詞條或問題;社交圈子從現實搬到了Facebook、Twitter、微信等社交平臺上;女孩子們現在少了逛街,多了在各大電商平臺上的購買;

RFID課程前置——SQL鞏固練習

近期在上RFID技術課程,前期要求鞏固SQL知識,課上做了下面幾道練習題,由此記錄一下 先把以下程式複製到新查詢視窗中執行: create database EX30918 -- 建立表 creat

精讀《sqorn 原始碼》

前端精讀《手寫 SQL 編譯器系列》 介紹瞭如何利用 SQL 生成語法樹,而還有一些庫的作用是根據語法樹生成 SQL 語句。 除此之外,還有一種庫,是根據程式語言生成 SQL。sqo

Spark持久化以及checkpoint原理分析

在Spark 的持久化使用中,我們會將一些經常使用到的資料進行持久化,比如使用cache()或者persist()方法進行持久化操作,但是當某個節點或者executor掛掉之後,持久化的資料會丟失,因為我們的資

一次儲存過程引數嗅探定位流程總結

昨天一開發同事反饋一個儲存過程很慢,但是重編譯後,儲存過程就很快了。瞭解基本情況後,初步判斷是引數嗅探問題。那麼如何診斷定位、分析問題呢?下面簡單介紹一下這次引數嗅探問題定位的流程過程。 首先檢視該儲

1746043942.3359