我們將大資料處理按處理時間的跨度要求分為以下幾類

    基於實時資料流的處理，通常的時間跨度在數百毫秒到數秒之間

    基於歷史資料的互動式查詢，通常時間跨度在數十秒到數分鐘之間

    複雜的批量資料處理，通常的時間跨度在幾分鐘到數小時之間

1.流處理

流是一種資料傳送技術，它把客戶端資料變成一個穩定的流。正是由於資料傳送呈現連續不停的形態，所以流引擎需要連續不斷處理資料

流處理的主要應用場景：金融領域和電信領域

1.1 Stom

Storm是一個免費開源、分散式、高容錯的實時計算系統。

Storm主要分為兩種元件Nimbus和Supervisor。這兩種元件都是快速失敗的，沒有狀態。任務狀態和心跳資訊等都儲存在Zookeeper上的，提交的程式碼資源都在本地機器的硬碟上。
1）Nimbus負責在叢集裡面傳送程式碼，分配工作給機器，並且監控狀態。全域性只有一個。
2）Supervisor會監聽分配給它那臺機器的工作，根據需要啟動/關閉工作程序Worker。每一個要執行Storm的機器上都要部署一個，並且，按照機器的配置設定上面分配的槽位數。
3）Zookeeper是Storm重點依賴的外部資源。Nimbus和Supervisor甚至實際執行的Worker都是把心跳儲存在Zookeeper上的。Nimbus也是根據Zookeerper上的心跳和任務執行狀況，進行排程和任務分配的。
4）Storm提交執行的程式稱為Topology。
5）Topology處理的最小的訊息單位是一個Tuple，也就是一個任意物件的陣列。
Topology由Spout和Bolt構成。Spout是發出Tuple的結點。Bolt可以隨意訂閱某個Spout或者Bolt發出的Tuple。Spout和Bolt都統稱為component。

1.2 Spark Streaming

Spark Streaming是一種構建在Spark上的實時計算框架，它擴充套件了Spark處理大規模流式資料的能力。

Spark Streaming的基本原理是將輸入資料流以時間片（秒級）為單位進行拆分，然後以類似批處理的方式處理每個時間片資料

2.互動式查詢（Adhoc Query）

在商業智慧領域少量更新和大量掃描分析場景，目前是Impala+Kudu/Hive/Spark SQL/Greenplum Mpp資料庫在混戰。

3.批處理技術

3.1 MapReduce（Hadoop）

MapReduce模式的主要思想是自動將一個大的計算拆解成Map和Reduce

3.2 Spark

Spark的中間資料放到記憶體中，對於迭代運算效率更高。
Spark更適合於迭代運算比較多的ML和DM運算。因為在Spark裡面，有RDD的抽象概念。
Spark比Hadoop更通用
Spark提供的資料集操作型別有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多種操作型別，Spark把這些操作稱為Transformations。同時還提供Count, collect, reduce, lookup, save等多種actions操作。