2. 程式人生 > >spark同storm的對比

spark同storm的對比

阿新 • • 發佈：2019-01-25
對比點StormSpark Streaming
實時計算模型純實時，來一條資料，處理一條資料準實時，對一個時間段內的資料收集起來，作為一個RDD，再處理
實時計算延遲度毫秒級秒級
吞吐量低高
事務機制支援完善支援，但不夠完善
健壯性 / 容錯性ZooKeeper，Acker，非常強Checkpoint，WAL，一般
動態調整並行度支援不支援
對於Storm來說：1、建議在那種需要純實時，不能忍受1秒以上延遲的場景下使用，比如實時金融系統，要求純實時進行金融交易和分析2、此外，如果對於實時計算的功能中，要求可靠的事務機制和可靠性機制，即資料的處理完全精準，一條也不能多，一條也不能少，也可以考慮使用Storm3、如果還需要針對高峰低峰時間段，動態調整實時計算程式的並行度，以最大限度利用叢集資源（通常是在小型公司，叢集資源緊張的情況），也可以考慮用Storm
4、如果一個大資料應用系統，它就是純粹的實時計算，不需要在中間執行SQL互動式查詢、複雜的transformation運算元等，那麼用Storm是比較好的選擇對於Spark Streaming來說：1、如果對上述適用於Storm的三點，一條都不滿足的實時場景，即，不要求純實時，不要求強大可靠的事務機制，不要求動態調整並行度，那麼可以考慮使用Spark Streaming2、考慮使用Spark Streaming最主要的一個因素，應該是針對整個專案進行巨集觀的考慮，即，如果一個專案除了實時計算之外，還包括了離線批處理、互動式查詢等業務功能，而且實時計算中，可能還會牽扯到高延遲批處理、互動式查詢等功能，那麼就應該首選Spark生態，用Spark Core開發離線批處理，用Spark SQL開發互動式查詢，用Spark Streaming開發實時計算，三者可以無縫整合，給系統提供非常高的可擴充套件性

相關推薦

spark同storm的對比

對比點StormSpark Streaming實時計算模型純實時，來一條資料，處理一條資料準實時，對一個時間段內的資料收集起來，作為一個RDD，再處理實時計算延遲度毫秒級秒級吞吐量低高事務機制支援完善支

大資料實時處理技術框架-spark和storm對比

對比點 Storm Spark Streaming 實時計算模型 純實時，來一條資料，處理一條資料 準實時，對一個時間段內的資料收集起來，作為一個RDD，再處理

Apache 流框架 Flink，Spark Streaming，Storm對比分析（2）

此文已由作者嶽猛授權網易雲社群釋出。 歡迎訪問網易雲社群，瞭解更多網易技術產品運營經驗。 2.Spark Streaming架構及特性分析 2.1 基本架構 基於是spark core的spark streaming架構。 Spark Streaming是將流式計算分解成一系列短小的批處理作業。這裡的批處

spark與storm的對比(轉載)

轉載自：https://www.cnblogs.com/yaohaitao/p/5703288.html 對比點 storm Spark Streaming 實時計算模型 純實時，來一

Apache 流框架 Flink，Spark Streaming，Storm對比分析（二）

本文由 網易雲 釋出2.Spark Streaming架構及特性分析2.1 基本架構基於是spark core的spark streaming架構。Spark Streaming是將流式計算分解成一系列短小的批處理作業。這裡的批處理引擎是Spark，也就是把Spark Str

spark與storm功能對比與選型思考

Storm擅長於動態處理大量實時生產的小資料塊，概念上是將小資料量的資料來源源不斷傳給過程； Spark擅長對現有的資料全集做處理，概念是將過程傳給大資料量的資料。 二者設計思路相反。Storm側重於處理的實時性，Spark側重處理龐大資料（類似於Hadoop的MR）。  

spark與storm的對比

對比點 Storm Spark Streaming 實時計算模型 純實時，來一條資料，處理一條資料 準實時，對一個時間段內的資料收集起來，作為一個RDD，再處理 實時計算延遲度 毫秒級 秒級 吞吐量 低 高 事務機制 支援完善 支援，但不夠完善

Apache 流框架 Flink，Spark Streaming，Storm對比分析（一）

本文由 網易雲 釋出1.Flink架構及特性分析Flink是個相當早的專案，開始於2008年，但只在最近才得到注意。Flink是原生的流處理系統，提供high level的API。Flink也提供 API來像Spark一樣進行批處理，但兩者處理的基礎是完全不同的。Flink把

Spark--Storm 對比

對比 對比點 Storm Spark Streaming 實時計算模型 純實時，來一條資料，處理一條資料 準實時，對一個時間段內的資料收集起來，作為一個RDD，再處理

Flink，Spark Streaming，Storm對比分析

1.Flink架構及特性分析Flink是個相當早的專案，開始於2008年，但只在最近才得到注意。Flink是原生的流處理系統，提供high level的API。Flink也提供 API來像Spark一樣進行批處理，但兩者處理的基礎是完全不同的。Flink把批處理當作流處理中的

[echarts] 同指標對比柱狀圖

ctype http mst example 通過率 ole .data mark ict 需求：對比課程通過率最高的8個課程和最低的8個課程以及全校的平均通過率 http://echarts.baidu.com/echarts2/doc/exa

大數據Spark與Storm技術選型

分享 filebeat bfd 大數 事務機制 有一點 zookeep 並行 bsp 先做一個對比： 對比點 Storm Spark Streaming 實時計算模型 純實時，來一條數據，處理一條數

38套大資料，雲端計算，架構，資料分析師，Hadoop，Spark，Storm，Kafka，人工智慧，機器學習，深度學習，專案實戰視訊教程

38套大資料，雲端計算，架構，資料分析師，Hadoop，Spark，Storm，Kafka，人工智慧，機器學習，深度學習，專案實戰視訊教程 視訊課程包含： 38套大資料和人工智慧高階課包含：大資料，雲端計算，架構，資料探勘實戰，實時推薦系統實戰，電視收視率專案實戰，實時流統計專案實戰，離線電

大資料晉級之路（5）Hadoop，Spark，Storm綜合比較

大資料框架：Spark vs Hadoop vs Storm 目錄 Hadoop Spark Storm   大資料時代，TB級甚至PB級資料已經超過單機尺度的資料處理，分散式處理系統應運而生。 知識預熱 「專治不明覺厲」之“大資料

Hadoop，Spark，Storm，Docker，Mapreduce，Kafka深入解析

大資料，無論是從產業上，還是從技術上來看，都是目前的發展熱點。在中國，政府控制著80%的資料，剩下的多由“BAT”這樣的大公司擁有，中小企業如何構建自己的大資料系統？其他企業如何建設自己的大資料系統？   推薦兩大應用最廣泛、國人認知最多的Apache開源大資料框架系統：Spark &

spark與storm比對與選型

大資料實時處理平臺市場上產品眾多，本文著重討論spark與storm的比對，最後結合適用場景進行選型。 一、spark與storm的比較 比較點 Storm Spark Streaming 實時計算模型 純實時，來一條資料，處理一條資料 準實時，對一

【專治不明覺厲】之“大資料” Hadoop，Spark和Storm

虎嗅注：上一篇“專治不明覺厲”文章，虎嗅君為大家介紹了“雲端計算”領域中的那些“不明覺厲”的名詞。作為雲端計算最重要的應用，大資料領域也有很多看上去“不明覺厲”的詞彙。本篇文章，虎嗅君就為各位介紹“大資料”領域裡的“不明覺厲”。 大資料（Big Data） 大資料，官

資料計算（大資料）：MapReduce、Spark、Storm概述、特點、原理

MapReduceMapReduce將複雜的、運行於大規模叢集上的平行計算過程高度地抽象到了兩個函式：Map和Reduce。特點：程式設計容易；分而治之策略（大規模資料集,會被切成許多獨立分片,分片由多個Map任務）；計算向資料靠攏（設計理念）函式輸入輸出說明Map<k

億量級流量的資料統計分析以及挖掘技術實戰(Spark And Storm)

摘要： 本文，基於海量的全鏈路資料，簡明扼要的分享自己三年的時間內在實時資料統計分析以及資料探勘方面的經驗。 大資料 大資料的主要特徵為5V，如下圖所示： 資料分析和挖掘整體框架圖 資料分析和資料探勘平臺的整體框架如上圖

Comparing Hadoop, Spark, and Storm

Hadoop, Spark, and Storm have become quite popular in recent times as open-source to work with large sets of data. We will learn about t