1. 程式人生 > >大資料學習:storm流式計算

大資料學習:storm流式計算

  

 

  Storm是一個分散式的、高容錯的實時計算系統。Storm適用的場景:

  1、Storm可以用來用來處理源源不斷的訊息,並將處理之後的結果儲存到持久化介質中。

  2、由於Storm的處理元件都是分散式的,而且處理延遲都極低,所以可以Storm可以做為一個通用的分散式RPC框架來使用。

  那麼下面就對大資料學習思路里的strom流式計算進行簡單分解,瞭解一下在學習大資料中應該瞭解哪些流式計算的知識。

  1、redis快取系統大綱

  學習內容:Redis的特點、安裝如何使用命令客戶端,redis的字串型別、雜湊型別、列表型別、集合型別。redis的事務、管道、優化、持久化等等, redis的sentinel高可用,twemproxy,codis實戰, redis3.x叢集安裝配置

  2、Kafka

  Kafka是當下流行的佇列,可以說是從資料採集到大資料計算承上啟下的重要環節,大家在此部分將會詳細學習它的架構,kafka在大家大資料的專案中幾乎都會涉及到。

  學習內容:kafka是什麼及體系結構、配置詳解和安裝,還有它的儲存策略、分割槽特點,kafka與zookeeper的協調管理、java程式設計操作kafka,scala程式設計操作kafka,flume 和kafka 的整合, Kafka 和storm 的整合

  3、Storm實時資料處理

  將全面掌握Storm內部機制和原理,通過大量專案實戰,讓大家擁有完整專案開發思路和架構設計,掌握從資料採集到實時計算到資料儲存再到前臺展示

  學習內容:如下截圖