Spark Streaming是構建在Spark上的實時計算框架，它擴充套件了Spark處理大規模流式資料的能力。Spark Streaming可結合批處理和互動查詢，適合一些需要對歷史資料和實時資料進行結合分析的應用場景。

Spark Streaming設計

Spark Streaming是Spark的核心元件之一，為Spark提供了可拓展、高吞吐、容錯的流計算能力。如下圖所示，Spark Streaming可整合多種輸入資料來源，如Kafka、Flume、HDFS，甚至是普通的TCP套接字。經處理後的資料可儲存至檔案系統、資料庫，或顯示在儀表盤裡。

Spark Streaming的基本原理是將實時輸入資料流以時間片（秒級）為單位進行拆分，然後經Spark引擎以類似批處理的方式處理每個時間片資料，執行流程如下圖所示。

Spark Streaming最主要的抽象是DStream（Discretized Stream，離散化資料流），表示連續不斷的資料流。在內部實現上，Spark Streaming的輸入資料按照時間片（如1秒）分成一段一段的DStream，每一段資料轉換為Spark中的RDD，並且對DStream的操作都最終轉變為對相應的RDD的操作。例如，下圖展示了進行單詞統計時，每個時間片的資料（儲存句子的RDD）經flatMap操作，生成了儲存單詞的RDD。整個流式計算可根據業務的需求對這些中間的結果進一步處理，或者儲存到外部裝置中。

Spark Streaming與Storm的對比

Spark Streaming和Storm最大的區別在於，Spark Streaming無法實現毫秒級的流計算，而Storm可以實現毫秒級響應。
Spark Streaming無法實現毫秒級的流計算，是因為其將流資料按批處理視窗大小（通常在0.5~2秒之間）分解為一系列批處理作業，在這個過程中，會產生多個Spark 作業，且每一段資料的處理都會經過Spark DAG圖分解、任務排程過程，因此，無法實現毫秒級相應。Spark Streaming難以滿足對實時性要求非常高（如高頻實時交易）的場景，但足以勝任其他流式準實時計算場景。相比之下，Storm處理的單位為Tuple，只需要極小的延遲。
Spark Streaming構建在Spark上，一方面是因為Spark的低延遲執行引擎（100毫秒左右）可以用於實時計算，另一方面，相比於Storm，RDD資料集更容易做高效的容錯處理。此外，Spark Streaming採用的小批量處理的方式使得它可以同時相容批量和實時資料處理的邏輯和演算法，因此，方便了一些需要歷史資料和實時資料聯合分析的特定應用場合。