Apache Spark 是一個圍繞速度、易用性和複雜分析構建的大資料處理框架，最初在2009年由加州大學伯克利分校的AMPLab開發，並於2010年成為Apache的開源專案之一，與Hadoop和Storm

一、Spark單機版安裝 Spark部署模式主要是四種：Local模式（單機模式，是本文講的方式，僅供熟悉Spark和scala入門用）、Standalone模式（使用Spark自帶的簡單叢集管理器

“本文分析SparkSQL ThriftServer工作原理，修改Spark SQL原始碼並實現了SQL 查詢進度的計算,最後展示了一點資訊基於Presto+SparkSQL+Hive的Web查詢引擎”

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：1120746959@

spark jar 本非方式執行 首先我們通過幫助命令來看spark 如何提交執行jar包 spark-submit --help image.png s

版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：1120746959@

對於一個具有相當技術門檻與複雜度的平臺，Spark從誕生到正式版本的成熟，經歷的時間如此之短，讓人驚詫。2009年，Spark誕生於伯克利大學AMPLab，於2010年正式開源，2013年成為了Apache基金

背景 有一個系統的業務正在膨脹中，某一些報表（報表資料在mysql中）資料量增長比較厲害，報表頁面已經處於卡爆了 的狀態。中間經過mysql本身的優化，已經到了當前系統架構+儲存模型的

最近好奇的研究了下Spark的BloomFilter的實現，發現其 org/apache/spark/util/sketch/BitArray.java 對bit處理的實現很巧妙（原始碼可能是從其他

要想搞清楚spark跟Hadoop到底誰更厲害，首先得明白spark到底是什麼鬼。 經過之前的介紹大家應該非常瞭解什麼是Hadoop了（不瞭解的點選這裡：白話大資料 | hadoop

在Spark奧克蘭5G實驗室，華為與紐西蘭運營商Spark完成基於3GPP Release 15標準的全球首個異廠商5G無線接入與核心網對接測試。 該5G試驗網路證明了異廠商無線接入網和核心網隔離技術實施的可

在使用Spark中通過各種運算元計算完後各種指標後，一般都需要將計算好的結果資料存放到關係型資料庫，比如MySQL和PostgreSQL等，隨後配置到展示平臺進行展現，花花綠綠的圖表就生成了。下面我講解一下

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。版權宣告：禁止轉載，歡迎學習。QQ郵箱地址：1

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。版權宣告：禁止轉載，歡迎學習。QQ郵箱地址：1

什麼是Spark？ Spark是一個分散式計算引擎，2009年誕生於UC伯克利的AMPLab，2010年開源並於2013年成為Apache頂級專案。 Spark具有如下特點: 1.快速