1. 程式人生 > >【配置】Storm和Kafka的對接:KafkaSpout

【配置】Storm和Kafka的對接:KafkaSpout

前言

Strom從Kafka中讀取資料,本質是實現一個Storm中的Spout,來讀取Kafka中的資料;這個Spout,可以稱為Kafka Spout。支援兩種型別的Spout:

  1. Core storm spout;

  2. Trident spout;

部署

1.安裝

下載kafka_2.11-0.8.2.2.tgz,上傳至叢集三個節點:node1,node2,node3(nimbus)的home/hadoop/app/目錄下,解壓,重新命名為kafka。

2.修改配置檔案

進入kafka配置目錄下,修改配置檔案zookeeper.properties、consumer.properties、producer.properties、server.properties

這裡寫圖片描述

a.修改zookeeper.properties

這裡寫圖片描述

b. 修改consumer.properties

這裡寫圖片描述

c. 修改producer.properties

這裡寫圖片描述

d. 修改server.properties

這裡寫圖片描述

e. 分別修改node1、node2、node3上的server.properties(broker.id)為1,2,3。

這裡寫圖片描述

3.啟動kafka叢集

在三臺機器上執行以下命令

bin/kafka-server-start.sh config/server.properties &

這裡寫圖片描述

4.測試叢集

a. 在node1上建立一個生產者(topic會自動生成)

[[email protected] kafka]$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

b. 在node3上建立一個消費者(topic和生產者的相同)

c. 在生產者上面輸入Hello,World

d. 可以看到消費者上面會輸出Hello,World

這裡寫圖片描述

說明Kafka叢集搭建成功,後面就可以正常使用Kafka。

相關推薦

配置StormKafka對接KafkaSpout

前言: Strom從Kafka中讀取資料,本質是實現一個Storm中的Spout,來讀取Kafka中的資料;這個Spout,可以稱為Kafka Spout。支援兩種型別的Spout: Core storm spout; Trident spout; 部

配置gvimvim的配置檔案的位置

今天在.vimrc裡設定set wrap死活沒效果。後來發現gvim的配置檔案和vim的是不同的!沒文化真可怕…… 首先當前使用者目錄下面會有三個檔案和資料夾.vim   這是儲存vim相關plugin colors的地方,當然這是個人的位置.vimrc vim的配置檔案.

轉載史上最全TensorFlow 好玩的技術、應用你不知道的黑科技

tube map 高性能 知識 seq 出現 執行時間 mes lex 【導讀】TensorFlow 在 2015 年年底一出現就受到了極大的關註,經過一年多的發展,已經成為了在機器學習、深度學習項目中最受歡迎的框架之一。自發布以來,TensorFlow 不斷在完善並增加新

實戰Docker入門實踐二Docker服務基本操作 測試Hello World

lag hit 現在 mage spa 關系 .so recommend 不能 操作環境操作系統:CentOS7.2 內存:1GB CPU:2核Docker服務常用命令docker服務操作命令如下service docker start #啟動服務 service doc

algorithm有趣的邏輯運算邏輯與邏輯異或

Date: 2018.10.31 之前學了很久的數電,今天終於發現了其魅力所在,有點後知後覺了,哈哈… 最近發現一個有趣的演算法: 奇數與1異或相當於減1,偶數與1異或相當於加1。 虛擬碼如下: if( a & 1 !=0 ) b = a - 1; // od

JavaScript的工作原理引擎,執行時呼叫堆疊的概述

原文地址:https://blog.sessionstack.com/how-does-javascript-actually-work-part-1-b0bacc073cf(需要翻牆) 隨著javascript變得越來越流行,很多團隊的技術棧都開始使用它,比如前端、後端、hybrid、嵌入式裝置等。 這篇文

轉載Qt入門與提高K02-01通過簡單exe介紹pro基本配置

版權宣告 --------------------------------------------------------------------------------------------------------------------- 作者: 女兒叫老白

JavaScript的工作原理記憶體管理4種常見的記憶體洩漏

該系列的第一篇文章重點介紹了引擎,執行時和呼叫堆疊的概述。第二篇文章深入剖析了Google的V8 JavaScript引擎,並提供了關於如何編寫更好的JavaScript程式碼的一些提示。 在第三篇文章中,我們將討論另一個越來越被開發人員忽視的關鍵主題,因為日常使用的程式語言(記憶體管理)越來越成熟和複雜。

jmeterjmeter報告視覺化配置生成報告儀表板,jmeter+Jenkins自動化構建生成HTML報告

目錄 一、jmeter報告儀表板相關資訊 二、檔案修改說明 三、jmeter.properties檔案配置 四、user.properties檔案配置 五、新建jtl報告目錄 六、複製jmeter.properties檔案並重命名 七、寫批處理bat檔案 八、準備

配置windows下配置tomcatzookeeper為服務

最近在電腦上配置dubbo的環境,由於使用的windows的系統,所以想讓dubbo控制檯和依賴的zookeeper都常駐系統後臺,並且在我開機的時候能夠啟動,這就不得不讓我想到了吧他們作為系統的服務來啟動,這樣系統在開機的時候就可以自動執行這些服務了。一、tomcat配置為

2017CS231n第十二講視覺化理解卷積神經網路

一.特徵視覺化1.1理解神將網路的層    下面我們瞭解一下神經網路內部發生了什麼。第一層:第一個卷積層由一個卷積核組成    在AlexNet中第一個卷積層由許多卷積核組成,每個卷積核的形狀是3*11*11,卷積核在影象上來回滑動,我們取影象塊和卷積核權重的內積,這就是第一

如何確定Kafka的分割槽數、keyconsumer執行緒數 原創如何確定Kafka的分割槽數、keyconsumer執行緒數

【原創】如何確定Kafka的分割槽數、key和consumer執行緒數   在Kafak中國社群的qq群中,這個問題被提及的比例是相當高的,這也是Kafka使用者最常碰到的問題之一。本文結合Kafka原始碼試圖對該問題相關的因素進行探討。希望對大家有所幫助。

JavaScript的工作原理事件迴圈及非同步程式設計的出現 5 種更好的 async/await 程式設計方式

此篇是JavaScript的工作原理的第四篇,其它三篇可以看這裡: 【譯】JavaScript的工作原理:引擎,執行時和呼叫堆疊的概述 【譯】JavaScript的工作原理:V8引擎內部+關於如何編寫優化程式碼的5個技巧 【譯】JavaScript的工作原理:記憶體管理和4種常見的記憶體洩漏

原創Junit4詳解二Junit4 Runner以及test case執行順序原始碼理解

1 package com.citi.risk.services.credit.facility.impl; 2 3 import java.io.Closeable; 4 import java.io.IOException; 5 6 import org.juni

GoWebAssembly在瀏覽器中執行Go程式

在過去很長一段時間裡,Javascript是Web開發人員中的通用語言。如果你想寫一個穩定成熟的 Web 應用程式,用javascript幾乎是唯一的方法。 WebAssembly(也稱為wasm)將很快改變這種情況。使用WebAssembly可以用任何語言編寫Web應用程式。在本文中,我們將瞭解如何編寫G

C#C#操作XML方法新增、修改刪除節點與屬性

 一 前言 先來了解下操作XML所涉及到的幾個類及之間的關係  如果大家發現少寫了一些常用的方法,麻煩在評論中指出,我一定會補上的!謝謝大家 * 1 XMLElement 主要是針對節點的一些屬性進行操作 * 2 XMLDocument 主要是針對節點的CUID操作 *

面試心得演算法資料結構查詢排序

演算法和資料結構在面試中備受面試官的青睞,其中排序和查詢是面試中考察演算法的重點。 在準備面試的時候,我們應該重點掌握二分查詢、快速排序和歸併排序,做到能隨時正確、完整地寫出程式碼。 查詢和排序都是在程式設計中常用到的演算法。關於查詢演算法應該掌握:順序查詢、二分查詢、雜

Oracle安裝配置及使用者、許可權詳解

1.Oracle 安裝 Oracle 資料庫產品是免費的,可以從 Oracle 的官方網站(http://www.oracle.com)下載到程式安裝包,Oracle 在 Windows 下的安裝非常方便,安裝開始後,一直點選安裝程式的“下一步”即可。 1

SpringCloud(十一)超時機制斷路器及 Hystrix簡單實踐

  上篇文章我們配置了Eureka叢集,實現了高可用。在微服務框架中,一個服務消費者可能是其他服務消費者的提供者,而當低層次的服務提供者出現問題時,會導致系統資源被耗盡。出現雪崩效應。 Hystri

SpringCloud(十五)Zuul的基本應用,反向代理負載均衡

  Router and Filter: Zuul。 Zuul is a JVM based router and server side load balancer by Netflix。   Zu