1. 程式人生 > >kafka叢集+zookeeper叢集常見問題與命令

kafka叢集+zookeeper叢集常見問題與命令

常見疑問

常用命令

zk啟動

[[email protected] bin]# ./zkServer.sh start

kafka啟動

[[email protected] bin]# ./kafka-server-start.sh -daemon ../config/server.properties

建立topic

[[email protected] bin]# ./kafka-topics.sh –create –zookeeper 192.168.21.49:12181 –replication-factor 1 –partitions 1 –topic test

檢視當前叢集的可用topic

[[email protected] bin]# ./kafka-topics.sh –list –zookeeper 192.168.21.14:12181
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/kafka/kafka_2.10-0.10.0.0/libs/slf4j-log4j12-1.7.21.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/kafka/kafka_2.10-0.10.0.0/libs/slf4j-nop-1.7.21.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See

http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
TEST-TOPIC
test
wangdan
wangdan1
wangdan2

檢視每個topic的執行情況

[[email protected] bin]# ./kafka-topics.sh –list –zookeeper 192.168.21.14:12181
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/kafka/kafka_2.10-0.10.0.0/libs/slf4j-log4j12-1.7.21.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/kafka/kafka_2.10-0.10.0.0/libs/slf4j-nop-1.7.21.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See

http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
TEST-TOPIC
test
wangdan
wangdan1
wangdan2

相關推薦

kafka叢集+zookeeper叢集常見問題命令

常見疑問 常用命令 zk啟動 [[email protected] bin]# ./zkServer.sh start kafka啟動 [[email protected] bin]# ./kafka-server-st

redis、kafkazookeeper 叢集辨析

叢集的目的:     1.保證高可用     2.增強併發能力,提高系統的吞吐量。

3. Zookeeper-內部原理命令

3.1 選舉機制 1. 半數機制,叢集中半數以上的機器存活,叢集可用。所以 zookeeper 適合奇數臺伺服器。 2. Zookeeper 雖然在配置檔案中沒有指定 master 和 slave 。但是 Zookeeper 工作時,是有一個節點為 leader,其他則為

個人hadoop學習總結:Hadoop叢集+HBase叢集+Zookeeper叢集+chukwa監控(包括單機、偽分佈、完全分佈安裝操作)

環境介紹: 虛擬機器四個: hadoop-marster hadoop-salve1 hadoop-salve2 hadoop-salve3 ===========================1.Hadoop==============================

kafka叢集zookeeper叢集 配置過程

Kafka的叢集配置一般有三種方法,即     (1)Single node – single broker叢集;     (2)Single node – multiple broker叢集;    (3)Multiple node – multiple broker叢集。     前兩種方法官網上有配置過

大資料(三十):zookeeper叢集kafka叢集部署

一、安裝Zookeeper 1.叢集規劃 在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。 2.解壓安裝        1.解壓zookeeper安裝包到/usr/local/目錄下 tar -zxvf zookeepe

kafka+zookeeper叢集安裝配置(CENTOS7環境)及開發中遇到的問題解決

kafka+zookeeper叢集安裝與配置及問題解決(CENTOS)ZOOKEEPER 叢集主要配置(zoo.cfg) :tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/spark/zookeeper-3.4.6/zkdata data

RabbitMQ VS Apache Kafka (九)—— RabbitMQ叢集的分割槽容錯性高可用性

本章,我們討論有關RabbitMQ的容錯性,訊息一致性及高可用性。RabbitMQ可以作為叢集節點來執行,因此RabbitMQ通常被歸為分散式訊息系統,對於分散式訊息系統,我們的關注點通常是一致性與可用性。 我們為什麼要討論分散式系統的一致性與可用性,本質在於兩者描述的是系統在失敗的

zookeeper叢集的客戶端伺服器端

zookeeper服務端命令: 啟動命令:sh zkServer.sh start 停止命令:sh zkServer.sh stop zookeeper客戶端命令: 啟動命令:sh zkCli.sh 連線其他客戶端:sh zkCli.sh -server ip:port    

大資料學習路線:Zookeeper叢集管理選舉

大資料技術的學習,逐漸成為很多程式設計師的必修課,因為趨勢也是因為自己的職業生涯。在各個技術社群分享交流成為很多人學習的方式,今天很榮幸給我們分享一些大資料基礎知識,大家可以一起學習!   1.叢集機器監控   這通常用於那種對叢集中機器狀態,機器線上率有較高要求的場景,能夠快速對叢集中機器變化作出響

Zookeeper叢集搭建和Kafka叢集的搭建

Zookeeper!!! 一、Zookeeper叢集搭建步驟 0)叢集規劃 在hadoop01、hadoop02和hadoop03三個節點上部署Zookeeper。 1)解壓安裝 (1)解壓zookeeper安裝包到/home/hadoop/insatll/目錄下 [[email 

Zookeeper叢集的搭建經驗總結

(003)最近用到了Zookeeper來構建一個分散式的應用服務,順便就把自己的操作方法記錄了下來 在Hadoop生態系統中Zookeeper還是比較容易安裝部署的 Zookeeper叢集的搭建 原料: 三臺伺服器(我用的是三臺虛擬機器) zookeeper-3.4

flink叢集一鍵安裝指令碼 -- kafka訊息中介軟體依賴zookeeper叢集安裝指令碼

#!/bin/sh INSTALL_PATH="/usr/local/src/"; ZOOKEEPER_VERSION="3.4.11" ZOOKEEPER_GZIP="zookeeper-${ZOOKEEPER_VERSION}.tar.gz"; ZOOKEEPER_CONF_DIR

zookeeper叢集kafka叢集、Hadoop高可用

一、zookeeper叢集 1.1 zookeeper概述 1.1.1 什麼是zookeeper ZooKeeper是一個分散式的協調服務 1.1.2 ZooKeeper能幹什麼 ZooKeeper是用來保

Zookeeper叢集設計安裝部署(最完整版)

首先準備好3個節點分別為hadoop01、hadoop02、hadoop03,接下來帶著大家一起搭建最小規模的Zookeeper分散式叢集。 1.叢集規劃 1.1主機規劃 使用準備的3個節點,搭建一個最小規模的Zookeeper分散式叢集。 1.2軟體規劃

zookeeper叢集環境搭建(使用kafkazookeeper搭建zk叢集

---恢復內容開始--- 使用kafka的zookeeper來搞叢集的話和單純用zk的其實差不了多少。 0.說在前頭,搭建kafka叢集之前請把每個伺服器的jdk搞起來。 1.安裝kafka wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafk

大資料處理框架之:Storm + Kafka + zookeeper 叢集

Storm kafka zookeeper 叢集 我們知道storm的作用主要是進行流式計算,對於源源不斷的均勻資料流流入處理是非常有效的,而現實生活中大部分場景並不是均勻的資料流,而是時而多時而少的資料流入,這種情況下顯然用批量處理是不合適的,如果使用storm做實時計算的話可能因為資

zookeeper叢集搭建和常用命令(筆記)

1.下載zookeeper安裝包 linux的套路是,一般都會把安裝檔案放到/opt下 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeepe

8節點(hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用叢集詳細配置

配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用叢集,同時安裝相關組建:JDK,MySQL,Hive,Flume 環境介紹 節點介紹 虛擬機器數量:8 臺 作業系統版本:CentOS-7-x8

kafka叢集一鍵啟動停止shell指令碼

kafka叢集一鍵啟動與停止shell指令碼 準備工作: 已經配置了主機與ip對映關係,已經配置了免密登入; 一、啟動Kafka叢集的指令碼 自定義start_kafka_byfang.sh,啟動kafka叢集中所有節點 #!/bin/bash BROKERS="hx