Spark SQL

MyBatis實戰之動態SQL

如果使用JDBC或者其他框架,很多時候你得根據需要去拼接SQL,這是一個麻煩的事情,而MyBatis提供對SQL語句動態的組裝能力,而且它只有幾個基本的元素,非常簡單明瞭,大量的判斷都可以在MyBatis的對映

快人一步,X-DB如何實現極速DDL

X-DB是阿里巴巴自研的分散式關係型資料庫,它不僅具備可全球部署的分散式能力,在效能和成本方面也有可觀提升,並且增加了不少惠及使用者的新功能。本文將詳細介紹X-DB如何近乎瞬時完成MySQL等傳統資料

是時候學習真正的 Spark 技術了

這篇文章是公司約稿發在七牛雲公眾號上面的,在這裡也跟大家分享下 spark sql 可以說是 spark 中的精華部分了,我感覺整體複雜度是 spark streaming 的 5 倍以上,現在

Sql Server 三個很有用的函式

好久沒有寫有關SqlServer 資料庫方面技術的文章了,正好今天遇到了一個問題,我就把這個當做一個練習記錄下來。今天遇到一個麻煩事,詳情如下:公司買了一個系統,在這個系統裡面有一個“充值卡”的功能,但是

一個神奇的 spark 報錯

寫 spark 跑的時候遇到一個神奇的錯誤,報錯如下 18/11/20 16:44:44 ERROR TransportRequestHandler: Error while invoking RpcHan

rand()函式埋的一個坑,大家注意了

一、背景 在開發部落格網站隨機文章的時候,剛開始沒有注意到這個問題,隨便加了一個rand()函式,資料量小的時候效能還可以,一旦資料達到幾十萬的時候,就會產生效能問題。 二、問題分析 剛開始的程式碼如下:

結合 Spark 講一下 Flink 的 runtime

Flink 執行時主要角色有兩個: JobManager 和 TaskManager ,無論是 standalone 叢集, on yarn 都是要啟動這兩個角色。有點類似於 MRv1 的架構了,

PHP-Audit-Labs題解之Day13-16

題目如下: 在做Day13之前,我們先來了解一些需要用到的基礎知識。 對於傳入的非法的 $_GET 陣列引數名,PHP會將他們替換成 下劃線 。經過fuzz,有以下這些字元:

1746131509.7401