Spark是什麼

spark是基於記憶體計算的大資料平行計算框架。09年誕生於加州大學伯克利分校AMPLab.

Spark相較於Hadoop的優點

Spark是MapReduce的替代方案，相容HDFS、Hive等分散式儲存層，可融入Hadoop的生態系統，以彌補MapReduce的不足。其主要優勢如下：

1. 中間結果輸出
   可以將多stage的任務串聯或者並行執行，而無需將Stage中間結果輸出到HDFS中。
2. 資料格式和記憶體分佈
   Spark抽象出分散式記憶體儲存結構彈性分散式資料集RDD，進行資料的儲存。Spark具有能夠控制資料在不同節點上的分割槽的特性，使用者可以自定義分割槽策略。
3. 執行策略
   MapReduce在資料Shuffle之前花了大量的時間來排序，Spark可以減輕上述問題帶來的開銷。
4. 任務排程的開銷
   在某些極端情況下，hadoop提交一個任務的延遲非常高。Spark採用了事件驅動的類庫AKKA來啟動任務，通過執行緒池複用執行緒來避免程序或執行緒啟動和切換開銷。