近期接手了不少大資料表任務排程補資料的工作,補數時發現資源消耗異常的大且執行速度卻不怎麼給力. 發現根本原因在於sparkSQL配置有諸多問題,解決後總結出來就當拋磚引玉了.

行列之間的互相轉換是ETL中的常見需求，在Spark SQL中，行轉列有內建的PIVOT函式可用，沒什麼特別之處。而列轉行要稍微麻煩點。本文整理了2種可行的列轉行方法，供參考。 本文連結：http

“本文分析SparkSQL ThriftServer工作原理，修改Spark SQL原始碼並實現了SQL 查詢進度的計算,最後展示了一點資訊基於Presto+SparkSQL+Hive的Web查詢引擎”

背景 有一個系統的業務正在膨脹中，某一些報表（報表資料在mysql中）資料量增長比較厲害，報表頁面已經處於卡爆了 的狀態。中間經過mysql本身的優化，已經到了當前系統架構+儲存模型的

在使用Spark中通過各種運算元計算完後各種指標後，一般都需要將計算好的結果資料存放到關係型資料庫，比如MySQL和PostgreSQL等，隨後配置到展示平臺進行展現，花花綠綠的圖表就生成了。下面我講解一下

Catalyst Optimizer是SparkSQL的核心元件(查詢優化器)，它負責將SQL語句轉換成物理執行計劃，Catalyst的優劣決定了SQL執行的效能。 查詢優化器是一個SQL引擎的核心，開源常

SparkSQL(Spark用於處理結構化資料的模組) 通過SparkSQL匯入的資料可以來自MySQL資料庫、Json資料、Csv資料等，通過load這些資料可以對其做一系列計算 下面通過程式程式碼來

先附上一句SQL，使用tpc-ds的表結構，我們圍繞這句SQL講。 SQL： SQL> selectavg(cs_ext_discount_amt)fromcatalo

原創文章，轉載請務必將下面這段話置於文章開頭處。 本文轉發自技術世界， 原文連結 http://www.jasongj.com/spark/rbo/ 本文所述內容均基於 2018年9月10日

1、spark Streaming是一個微批處理的框架 2、批處理時間間隔 batchInterval >> 表示在batchInterval時間內Spark 所接收的資料被當做一個批次做

“ 【Spark排序算法系列】主要介紹的是目前推薦系統或者廣告點選方面用的比較廣的幾種演算法，和他們在Spark中的應用實現，本篇文章主要介紹LR演算法。 ”

一、分層架構-3層架構-多層架構 架構： 架構一般是針對整個系統的，並非對某個單獨的問題(單獨的問題可以用模式等來解決) 針對整個系統的“一張藍圖”，對系統的抽象。架構與具體的語言平臺無關

Spark提供了local、standalone、on yarn等多種執行模式，但為了保持開發環境與實際執行環境的一致性，通常都是在本地編寫程式碼，然後編譯並上傳jar包到Spark叢集除錯執行。 但是面對複雜

我們在《準備專案所需的 Go 類包》章節裡，選擇所需的類包，其實是為保證專案的高效能做好了準備。整個專案自上而下，我們都儘量避免產生效能損耗發生的情況。 最頂層路由器部分，是終端每次請求服務必經的模組，我們

NHMicro 1.2.9 釋出，此版本支援在service層做sql模板替換後的增刪改查操作 MicroServiceTemplateSupport類中新增方法 public Map getInfoL