最近好奇的研究了下Spark的BloomFilter的實現，發現其 org/apache/spark/util/sketch/BitArray.java 對bit處理的實現很巧妙（原始碼可能是從其他

要想搞清楚spark跟Hadoop到底誰更厲害，首先得明白spark到底是什麼鬼。 經過之前的介紹大家應該非常瞭解什麼是Hadoop了（不瞭解的點選這裡：白話大資料 | hadoop

在Spark奧克蘭5G實驗室，華為與紐西蘭運營商Spark完成基於3GPP Release 15標準的全球首個異廠商5G無線接入與核心網對接測試。 該5G試驗網路證明了異廠商無線接入網和核心網隔離技術實施的可

在使用Spark中通過各種運算元計算完後各種指標後，一般都需要將計算好的結果資料存放到關係型資料庫，比如MySQL和PostgreSQL等，隨後配置到展示平臺進行展現，花花綠綠的圖表就生成了。下面我講解一下

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。版權宣告：禁止轉載，歡迎學習。QQ郵箱地址：1

什麼是Spark？ Spark是一個分散式計算引擎，2009年誕生於UC伯克利的AMPLab，2010年開源並於2013年成為Apache頂級專案。 Spark具有如下特點: 1.快速

Catalyst Optimizer是SparkSQL的核心元件(查詢優化器)，它負責將SQL語句轉換成物理執行計劃，Catalyst的優劣決定了SQL執行的效能。 查詢優化器是一個SQL引擎的核心，開源常

一、Spark結構 使用java、scala、python任意一種語言編寫的Spark應用叫Driver Driver程式一般負責初始SparkContext，然後通過Sp

精彩直播 [HBase多模式]( https://yq.aliyun.com/articles/665319 HBase多模式，包括 分析層：支援複雜分析、運算元下推；多模式層：提供各種模型轉換，貼

這篇文章是公司約稿發在七牛雲公眾號上面的，在這裡也跟大家分享下 spark sql 可以說是 spark 中的精華部分了，我感覺整體複雜度是 spark streaming 的 5 倍以上，現在

寫 spark 跑的時候遇到一個神奇的錯誤，報錯如下 18/11/20 16:44:44 ERROR TransportRequestHandler: Error while invoking RpcHan

Flink 執行時主要角色有兩個： JobManager 和 TaskManager ，無論是 standalone 叢集， on yarn 都是要啟動這兩個角色。有點類似於 MRv1 的架構了，

HBase社群直播本期分享專家：明惠(網名：過往記憶)-阿里雲資料架構師 視訊地址： https://yq.aliyun.com/live/590?spm=a2c4e.11155435.0.0.4601

關於RDD運算元的問題： 1、如果Application中只有一個action類運算元，那麼有沒有必要使用控制類運算元？ 沒有，因為一個action類運算元對應一個job，沒必要往記憶體或磁碟中寫。

本篇部落格主要是 sparksql 從初始開發注意的一些基本點以及力所能及的可優化部分的介紹： 所使用spark版本：2.0.0       scala版本：2.11.8 1. SparkSessio