Lambda架構由Storm的作者Nathan Marz提出。旨在設計出一個能滿足。實時大資料系統關鍵特性的架構，具有高容錯、低延時和可擴充套件等特。
Lambda架構整合離線計算和實時計算，融合不可變（Immutability，讀寫分離和隔離 一系列構原則，可整合Hadoop，Kafka，Storm，Spark,HBase等各類大資料元件。

Lambda架構的主要思想就是將大資料系統構建為多個層次，三層架構：批處理層、實時處理層、服務層 ，如下圖

批處理層：批量處理資料，生成離線結果
實時處理層：實時處理線上資料，生成增量結果
服務層：結合離線、線上計算結果，推送上層
1.批處理層
在Lambda架構中，實現batch view = function(all data)的部分被稱之為 batch layer。它承擔了兩個職責：

儲存Master Dataset，這是一個不變的持續增長的資料集
針對這個Master Dataset進行預運算

顯然，Batch Layer執行的是批量處理，例如Hadoop或者Spark支援的Map-Reduce方式。 它的執行方式可以用一段虛擬碼來表示
1
function runBatchLayer():
while (true):
recomputeBatchViews()
1
2
3
利用Batch Layer進行預運算的作用實際上就是將大資料變小，從而有效地利用資源，改善實時查詢的效能。但這裡有一個前提，

就是我們需要預先知道查詢需要的資料，如此才能在Batch Layer中安排執行計劃，定期對資料進行批量處理。 此外，還要求這些預運算的統計資料是支援合併（merge）的。

2實時處理層
只要batch layer完成對batch view的預計算，serving layer就會對其進行 更新。這意味著在執行預計算時進入的資料不會馬上呈現到batch view中。這對於 要求完全實時的資料系統而言是不能接受的。要解決這個問題，就要通過speed layer。從對資料的處理來看，speed layer與batch layer非常相似，它們之間最大的 區別是前者只處理最近的資料，後者則要處理所有的資料。
另一個區別是為了滿足最 小的延遲，speed layer並不會在同一時間讀取所有的新資料，相反，它會在接收到 新資料時，更新realtime view， 而不會像batch layer那樣重新運算整個view。 speed layer是一種增量的計算，而非重新運算（recomputation）。
因而，Speed Layer的作用包括：

對更新到serving layer帶來的高延遲的一種補充
快速、增量的演算法
最終Batch Layer會覆蓋speed layer
Speed Layer的等式表達如下所示：

realtime view = function(realtime view, new data)
1
3服務層
Batch Layer通過對master dataset執行查詢獲得了batch view，而 Serving Layer就要負責對batch view進行操作，從而為最終的實時查詢提供支撐。因此Serving Layer的職責包含：

對batch view的隨機訪問
更新batch view Serving Layer應該是一個專用的分散式資料庫，例如Elephant
DB，以支援對batch view的載入、隨機讀取以及更新。

注意，它並不支援對batch view的隨機寫，因為隨機寫會為資料庫引來許多複雜 性。簡單的特性才能使系統變得更健壯、可預測、易配置，也易於運維。

總結下來，Lambda架構就是如下的三個等式

batch view = function(all data)
realtime view = function(realtime view, new data)
query = function(batch view . realtime view)
1
2
3
4.Lambda架構元件選型
下圖給出了Lambda架構中各個層常用的元件。資料流儲存可選用基於不 可變日誌的分散式訊息系統Kafka；Batch Layer資料集的儲存可選用Hadoop的 HDFS，或者是阿里雲的ODPS；Batch View的預計算可以選用MapReduce或 Spark；Batch View自身結果資料的儲存可使用MySQL（查詢少量的最近結果數 據），或HBase（查詢大量的歷史結果資料）。Speed Layer增量資料的處理可選用 Storm或Spark Streaming；Realtime View增量結果資料集為了滿足實時更新的效 率，可選用Redis等記憶體NoSQL

5.Lambda架構元件選型原則
Lambda架構是個通用框架，各個層選型時不要侷限時上面給出的元件，特 別是對於View的選型。從我對Lambda架構的實踐來看，因為View是個和業務關聯 性非常大的概念，View選擇元件時關鍵是要根據業務的需求，來選擇最適合查詢的 元件。不同的View元件的選擇要深入挖掘資料和計算自身的特點，從而選擇出最適 合數據和計算自身特點的元件，同時不同的View可以選擇不同的元件。

6.Lambda架構優缺點
優點：

實時：低延遲處理資料
可重計算：由於資料不可變，重新計算一樣可以得到正確的結果
容錯：第二點帶來的，程式bug、系統問題等，可以重新計算
複雜性分離、讀寫分離
缺點：

開發和運維的複雜性：Lambda需要將所有的演算法實現兩次，一次是為批處理系統，另一次是為實時系統，還要求查詢得到的是兩個系統結果的合併