1. 程式人生 > >分散式實時處理系統Hurricane的架構

分散式實時處理系統Hurricane的架構

Hurricane總體架構圖

這裡寫圖片描述

各部件介紹

  • Spout是訊息源,拓撲結構中所有的資料都來自訊息源,而訊息源也是拓撲結構中訊息流的源頭。
  • Bolt是訊息處理單元,負責接收來自訊息源或資料處理單元的資料
    流,並對資料進行邏輯處理,然後轉發到下一個訊息處理單元,基本封裝了所有的資料處理邏輯。
  • SpoutExecutor是一個執行緒,是所有訊息源的執行者,每一個SpoutExecutor負責執行一個訊息源
  • BoltExecutor也是一個執行緒,是所有訊息處理單元的執行者,每個BoltExecutor負責執行一個訊息處理單元。
    • SpoutExecutor
      會永不停息地執行,而BoltExecutor則會等到資料到來才啟動。
  • Manager是單個節點任務的管理者,負責建立執行器物件,與中心節點通訊,並接收來自其他節點的資料,將這些資料分發到對應的Bolt中,讓Bolt進行處理。
  • President是整個叢集的中心節點,負責收集使用者的請求,並將使用者定義的拓撲結果傳送給正在執行的其他各Manager,同時也會通過向各Manager收集資訊,瞭解各節點的執行情況,同時為每個Executor分配對應的任務。