Spark SQL

SQL語句優化

怎麼加快查詢速度,優化查詢效率,主要原則就是應儘量避免全表掃描,應該考慮在where及order by 涉及的列上建立索引。 建立索引不是建的越多越好,原則是: 第一:一個表的索引不是越多越好,也沒有一

Oracle體系結構學習筆記

Oracle體系結構由例項和一組資料檔案組成,例項由SGA記憶體區,SGA意思是共享記憶體區,由share pool(共享池)、data buffer(資料緩衝區)、log buffer(日誌緩衝區)組

MySQL 上億大表優化實踐

背景 XX例項(一主一從)xxx告警中每天凌晨在報SLA報警,該報警的意思是存在一定的主從延遲(若在此時發生主從切換,需要長時間才可以完成切換,要追延遲來保證主從資料的一致性) XX例項的慢查詢數量最多

Mysql 儲存過程注入

Mysql 儲存過程注入 mysql有著儲存過程這個功能, 這次作者剛好遇到注入點在呼叫儲存過程的sql注入. 基本知識 mysql可以通過以下語句建立一個儲存過程 CREAT

Spark學習——資料傾斜

資料傾斜是一種很常見的問題(依據二八定律),簡單來說,比方WordCount中某個Key對應的資料量非常大的話,就會產生資料傾斜,導致兩個後果: OOM(單或少數的節點); 拖慢整個Job

1746021410.0657