1. 程式人生 > >Storm:流式處理框架之特性與應用場景

Storm:流式處理框架之特性與應用場景

      資料時代的今夕,如秋風席捲落葉漫天紛飛,storm願做繫鈴人解之庖丁。

      一、是什麼

      Storm是一個分散式的資料流處理系統。它會把工作任務委託給不同型別的元件,每個元件負責處理一項簡單特定的任務。Storm叢集的輸入流由一個被稱作spout的元件管理,spout把資料傳遞給bolt, bolt把資料儲存到某種儲存器或者把資料傳遞給其它的bolt。
      二、有什麼特性
      1)簡化程式設計,從零開始實現實時處理,使用Storm複雜性降低;
      2)容錯性,Storm叢集會關注工作節點狀態,如果宕機了必要的時候會重新分配任務;
      3)可擴充套件性,叢集擴充套件時增加機器,Storm可以在新機器就緒時分配任務;
      4)可靠性+快速,Storm設計的一個顯著特點是快速,同時可靠所有訊息都可保證至少處理一次,如果出錯訊息可能處理不只一次,不過不會丟失訊息;
      5)事務性,具有很好的事務性等。
      三、應用場景
      日異月新的今天,對資料的實時處理要求越高,storm的應用隨之流行。如推薦系統、廣告投放資料回收……