Kafka、Storm、Redis架構實現裝置執行狀態實時分析系統

摘要： 在企業生產管理過程中，裝置執行狀態實時分析至關重要，直接與企業生產效率和經濟效益掛鉤。本文提出一種基於Kafka、Storm、Redis架構實現裝置執行狀態實時分析系統設計。Kafka+Storm+Redis是一種經典的大資料流式計算框架，可用於實時執行資料分析、實時告警資料分析等，核心思路是...

在企業生產管理過程中，裝置執行狀態實時分析至關重要，直接與企業生產效率和經濟效益掛鉤。本文提出一種基於Kafka、Storm、Redis架構實現裝置執行狀態實時分析系統設計。Kafka+Storm+Redis是一種經典的大資料流式計算框架，可用於實時執行資料分析、實時告警資料分析等，核心思路是將流式計算分解成3個模組。如下圖所示：

裝置執行狀態實時分析系統主要功能是實時收集裝置執行狀態資料，並對這些資料實時計算，最後將結果儲存起來，以便於展示。具體過程如下：

1、在裝置執行狀態實時分析系統中，採用Kafka作為資料緩衝。目標是解決資料採集與資料處理速度不一致性問題，另外，考慮到Kafka是一個分散式的，支援多副本的訊息佇列，因而可用在裝置執行狀態資料量超大的應用場景。

2、系統採用Storm不斷地從Kafka中拉取資料進行實時分析，資料分析過程中可能會檢索歷史資料（從Redis或其它儲存系統中），對當前結果和歷史資料合併後進一步寫入後端儲存系統。

3、Storm將計算產生的結果儲存到Redis中，以應對後端高併發查詢。如果資料量較大，單機Redis例項無法滿足儲存和效能要求，則可使用Redis Cluster解決方案。

我們知道，Storm對Kafka和Redis均提供很好的支援，裝置執行狀態實時分析系統整合示例如下：