記錄自己學習研究 Spark 的探索過程，為後續總結奠定基礎。

本文程式碼研究以 Spark 2.3.0 原始碼為基準，如果看本文，請閱讀時，下載對應的 Spark 版本。

圖1 伯克利的資料分析軟體棧BDAS（Berkeley Data Analytics Stack）

這裡要先說BDAS（伯克利資料分析棧），是伯克利大學的AMPLab打造的用於大資料的分析的一套開源軟體棧，這其中包括了這兩年火的爆棚的Spark（Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等元件，這些元件分別處理Spark Core提供記憶體計算框架、SparkStreaming的實時處理應用、Spark SQL的即時查詢、MLlib或MLbase的機器學習和GraphX的圖處理

1、論文篇

2、準備篇

3、核心篇

圖2 一個 Spark 作業執行圖

1）Spark 的初始化

• Spark 核心篇-SparkConf
• Spark 核心篇-RpcEnv
• Spark 核心篇-SparkStatusTracker
• Spark 核心篇-SecurityManager
• Spark 核心篇-SparkUI
• Spark 核心篇-MetricsSystem

2）Spark 記憶體模型

• ......

3）Spark 儲存體系

• Spark 核心篇-SerializerManager
• Spark 核心篇-BroadcastManager
• Spark 核心篇-ShuffleManager
• Spark 核心篇-MemoryManager
• Spark 核心篇-NettyBlockTransferService
• Spark 核心篇-BlockManagerMaster
• Spark 核心篇-BlockManager

4）Spark 計算體系

• Spark 核心篇-LiveListenerBus
• Spark 核心篇-MapOutputTracker
• Spark 核心篇-DAGScheduler
• Spark 核心篇-TaskScheduler
• Spark 核心篇-ExecutorAllocationManager
• Spark 核心篇-OutputCommitCoordinator
• Spark 核心篇-ContextClearner

5）Spark 執行模式

• ......

4、元件篇

1）Spark SQL

• ......

2）Spark Streaming

• ......

3）Spark MLib

• ......

4）Spark Graphx

• ......

5、公共篇

1）Tags