【配置】Storm和Kafka的對接:KafkaSpout
前言:
Strom從Kafka中讀取資料,本質是實現一個Storm中的Spout,來讀取Kafka中的資料;這個Spout,可以稱為Kafka Spout。支援兩種型別的Spout:
Core storm spout;
Trident spout;
部署:
1.安裝
下載kafka_2.11-0.8.2.2.tgz,上傳至叢集三個節點:node1,node2,node3(nimbus)的home/hadoop/app/目錄下,解壓,重新命名為kafka。
2.修改配置檔案
進入kafka配置目錄下,修改配置檔案zookeeper.properties、consumer.properties、producer.properties、server.properties
a.修改zookeeper.properties
b. 修改consumer.properties
c. 修改producer.properties
d. 修改server.properties
e. 分別修改node1、node2、node3上的server.properties(broker.id)為1,2,3。
3.啟動kafka叢集
在三臺機器上執行以下命令
bin/kafka-server-start.sh config/server.properties &
4.測試叢集
a. 在node1上建立一個生產者(topic會自動生成)
[[email protected] kafka]$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
b. 在node3上建立一個消費者(topic和生產者的相同)
c. 在生產者上面輸入Hello,World
d. 可以看到消費者上面會輸出Hello,World
說明Kafka叢集搭建成功,後面就可以正常使用Kafka。
相關推薦
【配置】Storm和Kafka的對接:KafkaSpout
前言: Strom從Kafka中讀取資料,本質是實現一個Storm中的Spout,來讀取Kafka中的資料;這個Spout,可以稱為Kafka Spout。支援兩種型別的Spout: Core storm spout; Trident spout; 部
【配置】gvim和vim的配置檔案的位置
今天在.vimrc裡設定set wrap死活沒效果。後來發現gvim的配置檔案和vim的是不同的!沒文化真可怕…… 首先當前使用者目錄下面會有三個檔案和資料夾.vim 這是儲存vim相關plugin colors的地方,當然這是個人的位置.vimrc vim的配置檔案.
【轉載】史上最全:TensorFlow 好玩的技術、應用和你不知道的黑科技
tube map 高性能 知識 seq 出現 執行時間 mes lex 【導讀】TensorFlow 在 2015 年年底一出現就受到了極大的關註,經過一年多的發展,已經成為了在機器學習、深度學習項目中最受歡迎的框架之一。自發布以來,TensorFlow 不斷在完善並增加新
【實戰】Docker入門實踐二:Docker服務基本操作 和 測試Hello World
lag hit 現在 mage spa 關系 .so recommend 不能 操作環境操作系統:CentOS7.2 內存:1GB CPU:2核Docker服務常用命令docker服務操作命令如下service docker start #啟動服務 service doc
【algorithm】有趣的邏輯運算:邏輯與和邏輯異或
Date: 2018.10.31 之前學了很久的數電,今天終於發現了其魅力所在,有點後知後覺了,哈哈… 最近發現一個有趣的演算法: 奇數與1異或相當於減1,偶數與1異或相當於加1。 虛擬碼如下: if( a & 1 !=0 ) b = a - 1; // od
【譯】JavaScript的工作原理:引擎,執行時和呼叫堆疊的概述
原文地址:https://blog.sessionstack.com/how-does-javascript-actually-work-part-1-b0bacc073cf(需要翻牆) 隨著javascript變得越來越流行,很多團隊的技術棧都開始使用它,比如前端、後端、hybrid、嵌入式裝置等。 這篇文
【轉載】Qt入門與提高:K02-01通過簡單exe介紹pro基本配置
版權宣告 --------------------------------------------------------------------------------------------------------------------- 作者: 女兒叫老白
【譯】JavaScript的工作原理:記憶體管理和4種常見的記憶體洩漏
該系列的第一篇文章重點介紹了引擎,執行時和呼叫堆疊的概述。第二篇文章深入剖析了Google的V8 JavaScript引擎,並提供了關於如何編寫更好的JavaScript程式碼的一些提示。 在第三篇文章中,我們將討論另一個越來越被開發人員忽視的關鍵主題,因為日常使用的程式語言(記憶體管理)越來越成熟和複雜。
【jmeter】jmeter報告視覺化:配置生成報告儀表板,jmeter+Jenkins自動化構建生成HTML報告
目錄 一、jmeter報告儀表板相關資訊 二、檔案修改說明 三、jmeter.properties檔案配置 四、user.properties檔案配置 五、新建jtl報告目錄 六、複製jmeter.properties檔案並重命名 七、寫批處理bat檔案 八、準備
【配置】windows下配置tomcat和zookeeper為服務
最近在電腦上配置dubbo的環境,由於使用的windows的系統,所以想讓dubbo控制檯和依賴的zookeeper都常駐系統後臺,並且在我開機的時候能夠啟動,這就不得不讓我想到了吧他們作為系統的服務來啟動,這樣系統在開機的時候就可以自動執行這些服務了。一、tomcat配置為
【2017CS231n】第十二講:視覺化和理解卷積神經網路
一.特徵視覺化1.1理解神將網路的層 下面我們瞭解一下神經網路內部發生了什麼。第一層:第一個卷積層由一個卷積核組成 在AlexNet中第一個卷積層由許多卷積核組成,每個卷積核的形狀是3*11*11,卷積核在影象上來回滑動,我們取影象塊和卷積核權重的內積,這就是第一
如何確定Kafka的分割槽數、key和consumer執行緒數 【原創】如何確定Kafka的分割槽數、key和consumer執行緒數
【原創】如何確定Kafka的分割槽數、key和consumer執行緒數 在Kafak中國社群的qq群中,這個問題被提及的比例是相當高的,這也是Kafka使用者最常碰到的問題之一。本文結合Kafka原始碼試圖對該問題相關的因素進行探討。希望對大家有所幫助。
【譯】JavaScript的工作原理:事件迴圈及非同步程式設計的出現和 5 種更好的 async/await 程式設計方式
此篇是JavaScript的工作原理的第四篇,其它三篇可以看這裡: 【譯】JavaScript的工作原理:引擎,執行時和呼叫堆疊的概述 【譯】JavaScript的工作原理:V8引擎內部+關於如何編寫優化程式碼的5個技巧 【譯】JavaScript的工作原理:記憶體管理和4種常見的記憶體洩漏
【原創】Junit4詳解二:Junit4 Runner以及test case執行順序和原始碼理解
1 package com.citi.risk.services.credit.facility.impl; 2 3 import java.io.Closeable; 4 import java.io.IOException; 5 6 import org.juni
【譯】Go和WebAssembly:在瀏覽器中執行Go程式
在過去很長一段時間裡,Javascript是Web開發人員中的通用語言。如果你想寫一個穩定成熟的 Web 應用程式,用javascript幾乎是唯一的方法。 WebAssembly(也稱為wasm)將很快改變這種情況。使用WebAssembly可以用任何語言編寫Web應用程式。在本文中,我們將瞭解如何編寫G
【C#】C#操作XML方法:新增、修改和刪除節點與屬性
一 前言 先來了解下操作XML所涉及到的幾個類及之間的關係 如果大家發現少寫了一些常用的方法,麻煩在評論中指出,我一定會補上的!謝謝大家 * 1 XMLElement 主要是針對節點的一些屬性進行操作 * 2 XMLDocument 主要是針對節點的CUID操作 *
【面試心得】演算法和資料結構:查詢和排序
演算法和資料結構在面試中備受面試官的青睞,其中排序和查詢是面試中考察演算法的重點。 在準備面試的時候,我們應該重點掌握二分查詢、快速排序和歸併排序,做到能隨時正確、完整地寫出程式碼。 查詢和排序都是在程式設計中常用到的演算法。關於查詢演算法應該掌握:順序查詢、二分查詢、雜
【Oracle】安裝和配置及使用者、許可權詳解
1.Oracle 安裝 Oracle 資料庫產品是免費的,可以從 Oracle 的官方網站(http://www.oracle.com)下載到程式安裝包,Oracle 在 Windows 下的安裝非常方便,安裝開始後,一直點選安裝程式的“下一步”即可。 1
【SpringCloud】(十一):超時機制和斷路器及 Hystrix簡單實踐
上篇文章我們配置了Eureka叢集,實現了高可用。在微服務框架中,一個服務消費者可能是其他服務消費者的提供者,而當低層次的服務提供者出現問題時,會導致系統資源被耗盡。出現雪崩效應。 Hystri
【SpringCloud】(十五):Zuul的基本應用,反向代理和負載均衡
Router and Filter: Zuul。 Zuul is a JVM based router and server side load balancer by Netflix。 Zu