2. 程式人生 > >Storm詳解一、Storm 概述

Storm詳解一、Storm 概述

阿新 • • 發佈：2019-01-06
一、Storm概述       Storm是一個分散式的、可靠的、零失誤的流式資料處理系統。它的工作就是委派各種元件分別獨立的處理一些簡單任務。在Storm叢集中處理輸入流的是Spout元件，而Spout又把讀取的資料傳遞給叫Bolt的元件。Bolt元件會對收到的資料元組進行處理，也有可能傳遞給下一個Bolt。我們可以把Storm叢集想象成一個由bolt元件組成的鏈條集合，資料在這些鏈條上傳輸，而bolt作為鏈條上的節點來對資料進行處理。 Storm和Hadoop叢集表面看上去很類似，但是Hadoop上面執行的是MapReduceJobs,而在Storm上執行的是拓撲topology，這兩者之間是非常不一樣的，關鍵區別是：MapReduce最終會結束，而一個topology永遠會執行（除非你手動kill掉）,換句話說，Storm是面向實時資料分析，而Hadoop面向的是離線資料分析。
      假設有這麼一種情形，當你看政論類節目的時候，他們會經常提到一些人名和一些熱門話題，如果我們把其中人名和話題的重複次數都記錄下來，結果應該是一件很有趣的事情。      因此，想象在Storm環境下，我們可以把辯論者說的話作為輸入流，spout元件來讀取這些資料，然後把每一句話傳送給bolt1元件，bolt1元件負責把這一句話拆分成一個個單詞，再把這些單詞傳送到bolt2元件，bolt2元件負責統計每個單詞的數量然後把這些資訊儲存到資料庫中。辯論者在不斷的說話，而storm不斷的實時重新整理資料庫中結果，當你想檢視這些結果時，你只需查詢資料庫即可。      現在，你可以想象如果可以把這些spout和bolt均衡分佈到整個叢集中，並且可以方便地做無限制的擴充套件，厲害吧？這就是Storm的威力！
圖1.1：一個簡單的Topology
     Storm的一些典型應用場景      1.資料流處理：與其它流處理系統不同，storm不需要中間佇列媒介      2.實時計算：可連續不斷的進行實時資料處理，把處理的結果實時更新展示到客戶端      3.分散式遠端過程呼叫：可充分利用叢集中CPU資源，進行CPU密集型計算。 二、Storm元件 叢集中有兩種型別的節點：主節點和工作節點
    1. master節點：執行Nimbus程序，負責分發程式碼，安排任務，監控執行狀態（主要是節點成功失敗狀態）。
    2. worker節點：執行Supervisor程序，負責執行一個Topology的一個子集     
圖1.2：storm 叢集中的元件：
     Storm叢集中的狀態都儲存在zookeeper或本地磁碟中，因此Storm中的程序都是無狀態的，任何一個節點失敗或重啟都不會影響整個叢集。Storm底層使用zeromq來保證其非凡的特性：
  • 併發的socket 類
  • 比TCP更快，適用於叢集環境和超級計算
  • 通過inproc、IPC、TCP和多路廣播傳輸訊息
  • 非同步IO  
  • Connect N-to-N via fanout，pubsub,pipeline,requst-reply
  • 使用push/pull模式   
三、Storm特性
  • 程式設計簡單：主要依賴於spout和bolt來實現
  • 支援多種程式語言：基於JVM的語言都可以支援，任何一個其它語言只要實現了一箇中間類也可支援
  • 容錯性高：執行宕機、重啟等
  • 可拓展：可以任意增刪節點到叢集
  • 可靠性高：所有訊息都被保證至少消費一次，也就是說，Storm中訊息不會丟失
  • 快速：快就不必多少了
  • 事務支援
初步瞭解Storm之後，下一節會通過寫一個簡單的Demo執行一下來讓大家真實體會一下Storm。

相關推薦

Storm詳解一、Storm 概述

一、Storm概述       Storm是一個分散式的、可靠的、零失誤的流式資料處理系統。它的工作就是委派各種元件分別獨立的處理一些簡單任務。在Storm叢集中處理輸入流的是Spout元件，而Spo

Flutter 完整開發實戰詳解(一、Dart 語言和 Flutter 基礎)

前言 在如今的 Fultter 大潮下，本系列是讓你看完會安心的文章。本系列將完整講述：如何快速從0開發一個完整的 Flutter APP，配套高完成度 Flutter 開源專案 GSYGithubAppFlutter。同時也會提供一些 Flutter 的開發

Java 集合詳解 一、Collection詳解

  在Java開發中，我們有大量的儲存、訪問資料的需求，這時候就需要使用java中的集合類，一般來說，java中提供了list、set、map這些集合來供我們儲存、訪問資料。   java中集合類的繼承圖如下： 可見，list、set都實現了Collection介面，而

跟我學python之mysql操作詳解 一、查詢操作

  在python中，我們使用PyMySQL來操作mysql。   一、安裝PyMySQL：    使用pip進行安裝，命令為：    pip install PyMySQL   二、在進行操作之前，首先要開啟本機的mysql，或者，可以直接連線遠端已經開啟的mysql。

mysql基礎-資料庫連線、建立、刪除、選擇等基本操作詳解(一)

一、通過cmd連結到資料庫 或者 彈出： 二、通過cmd建立與刪除database 2.1create database [databasename] ERROR 1007 (HY000): Can’t create database ‘mytest’; database exists 加上IF N

P2P技術詳解(一)：NAT詳解——詳細原理、P2P簡介(轉再)

這是一篇介紹NAT技術要點的精華文章，來自華3通訊官方資料庫，文中對NAT技術原理的介紹很全面也很權威，對網路應用的應用層開發人員而言有很高的參考價值。   《P2P技術詳解》系列文章 ➊ 本文是《P2P理論詳解》系列文章中的第2篇，總目錄如下：   ➋

oracle資料庫物件詳解(一)——表、檢視、同義詞、約束、索引

oracle資料庫物件是資料庫的組成部分。資料庫物件包括表，檢視，同義詞，約束、索引，序列，遊標，觸發器，函式，變數，（控制塊，異常），儲存過程，包。對資料庫的操作可以基本歸結為對資料物件的操作,常常用CREATE命令進行建立，可以使用ALTER命令修改，用DROP執行刪除操作等。 一、表

一、storm基礎概念

1.1什麼是storm storm是分散式實時計算框架。類似Hadoop MapReduce， 使用者按照規定的程式設計規範實現一個任務，然後將這個任務遞交給Storm框架，Storm將這個任務跑起來，並且按7 * 24小時執行起來。只計算，不儲存。  開發語言：Cloj

JSP詳解(一):頁面構成、EL表示式

什麼是JSP？ JSP:Java Server Pages，其根本是一個簡化的Servlet設計，它實現了在Java中使用HTML標籤 Jsp是一種動態網頁技術標準，也是JEE標準 Jsp與Servlet一樣，是在伺服器端執行的 jsp就是servlet

Elasticsearch增、刪、改、查操作深入詳解(一)

1、RESTful介面使用方法 為了方便直觀我們使用Head外掛提供的介面進行演示，實際上內部呼叫的RESTful介面。 RESTful介面URL的格式：http://locahost:9200/...... 其中index、type是必須提供的。 id是可選的，不提供es會自

Maven使用詳解：Maven的概述（一）

先決條件（Prerequisites） 你一定已經瞭解瞭如何安裝maven在你的電腦上，如果你還不知道改如何安裝maven的話，你可以通過詢問身邊的同事或者同學，也可以通過網路搜尋來檢視如何安裝，這裡我們對這個問題不做過多的解釋。 Maven安裝（Installation）

Activity詳解一 配置、啟動和關閉activity

先看效果圖 Android為我們提供了四種應元件，分別為Activity、Service、Broadcast receivers和Content providers，這些組建也就是我們開發一個Android應用程式的基石。系統可以通過不同組建提供的切入點進入到開

一文詳解 LVS、Nginx 及 HAProxy 工作原理（ 附大圖 ）

當前大多數的網際網路系統都使用了伺服器叢集技術，叢集是將相同服務部署在多臺伺服器上構成一個叢集整體對外提供服務，這些叢集可以是 Web 應用伺服器叢集，也可以是資料庫伺服器叢集，還可以是分散式快取伺服器叢集等等。     在實際應用中，在 Web 伺服器叢集之前總會有一臺負載均

MyBatis 一級快取、二級快取全詳解(一)

目錄 MyBatis 一級快取、二級快取全詳解(一) 什麼是快取 什麼是MyBatis中的快取 MyBatis 中的一級快取 初探一級快取 探究一級快取是如何失效的

Kubernetes-15：一文詳解Pod、Node排程規則(親和性、汙點、容忍、固定節點)

Kubernetes Pod排程說明 簡介 Scheduler 是 Kubernetes 的排程器，主要任務是把定義的Pod分配到叢集的節點上，聽起來非常簡單，但要考慮需要方面的問題： 公平：如何保證每個節點都能被分配到資源 資源高效利用：叢集所有資源最大化被使用 效率：排程效能要好，能夠儘快的對大批量的P

angular 自定義指令 詳解--restrict、restrict、replace

emp bold span 類型 ret space con 設置 註意 Angularjs 允許根據實際業務需要自定義指令, 通過angular全局對象下的 directive 方法實現。可以自定義屬性、自定義標簽、自定義功能 接下來定義一個名叫custom的指令，並利用

js 定時器用法詳解——setTimeout()、setInterval()、clearTimeout()、clearInterval()

ntb 幫助 .get tint num 用法 -c 函數 tel 在js應用中，定時器的作用就是可以設定當到達一個時間來執行一個函數，或者每隔幾秒重復執行某段函數。這裏面涉及到了三個函數方法：setInterval()、setTimeout()、clearI

Canny邊緣檢測算法原理及其VC實現詳解(一)

常用 差分 實現圖 還需要 鏈接 傳感器 出了 關系 位置 轉自：http://blog.csdn.net/likezhaobin/article/details/6892176 圖象的邊緣是指圖象局部區域亮度變化顯著的部分，該區域的灰度剖面一般可以看作是一個階躍，既從

Java線程詳解(一)

線程 thread runnable 程序、進程、線程的概念 程序(program)：是為完成特定任務、用某種語言編寫的一組指令的集合。即指一段靜態的代碼，靜態對象。 進程(process)：是程序的一次執行過程，或是正在運行的一個程序。動態過程：有它自身的產生、存在和消亡的過程。 如

深究AngularJS——自定義服務詳解(factory、service、provider)

string targe 返回 config 屬性 doctype 三種方式 啟用 print 前言 3種創建自定義服務的方式。 Factory Service Provider 大家應該知道，AngularJS是後臺人員在工作之余發明的，他主要應用了後臺早就存