1. 程式人生 > >單機版kafka、zookeeper安裝

單機版kafka、zookeeper安裝

今天剛接觸kafka,網上很多kafka的安裝,這裡只講單機版的安裝以及安裝過程中遇到的問題。
軟體

  • JDK1.8(jdk-8u131-linux-x64.rpm)
  • zookeeper (zookeeper-3.4.10.tar.gz)
  • kafka (kafka_2.12-2.0.0.tgz)

一、JDK安裝
kafka的使用依賴於zookeeper,zk要執行在jvm之上,所以啊,咱們也先安裝jdk.
如果不安裝jdk啟動zk的時候會出現以下問題

Error contacting service. It is probably not running.

二、zookeeper安裝


目前zk的版本如下
這裡寫圖片描述
我下的是3.4.10

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

解壓縮

tar -zxvf zookeeper-3.4.10.tar.gz

編輯配置檔案

cd zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

配置如下

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/data/zookeeper
dataLogDir
=/var/log/kafka/zk clientPort=2181 server.1=10.9.201.142:2888:3888

進入bin目錄使用zkServer.sh啟動zk

./zkServer.sh start

檢視啟動情況

./zkServer.sh status

三、安裝kafka
kafka版本如下
這裡寫圖片描述
下載2.11版

wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz

解壓縮

tar -zxvf kafka_2.12-2.0.0.tgz

啟動kafka

cd kafka_2.12
-2.0.0 cd bin/ ./kafka-server-start.sh ../config/server.properties &

使用jps檢視啟動情況

[root@centos7 bin]# jps
19815 Kafka
19032 QuorumPeerMain
33307 Jps

QuorumPeerMain是zk的程序。

四、測試kafka
建立一個topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_kafka

檢視建立的topic

[[email protected] bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test_kafka

啟動消費者

./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic test_kafka --from-beginning

注意:新版的kafka只能使用–bootstrap-server來啟動,zookeeper的指令已經被取消了。

在新的shell中啟動生產者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test_kafka

啟動之後輸入訊息,在消費者的shell中就可以接收到生產者中輸入的資訊。

到這裡kafka的單機安裝就結束了。

相關推薦

單機kafkazookeeper安裝

今天剛接觸kafka,網上很多kafka的安裝,這裡只講單機版的安裝以及安裝過程中遇到的問題。 軟體 JDK1.8(jdk-8u131-linux-x64.rpm) zookeeper (zookeeper-3.4.10.tar.gz) kafka (ka

【一】linux安裝redis(單機3種啟動方式及配置檔案介紹。

環境ubuntu16.04 解壓 tar -zxvf redis-3.2.6.tar.gz 修改資料夾名稱 mv redis-3.2.6 redis 編譯 cd /app/redis make 編譯好後會看到redis.conf和src檔案 安裝 cd

centos下安裝單機kafka-0.10.0.1

1.環境說明 主機資訊如下: 1[[email protected] soft]# hostname2test13[[email protected] soft]# cat /etc/hosts4127.0.0.1   localh

Zookeeper(五):單機測試叢集測試建立根節點

我們已經搭建好了zookeeper的單機版、偽叢集版、叢集版,現在啟動客戶端連上zkServer進行測試一、單機版測試1.1、命令測試連線上zookeeper的server:zkCli.sh -server 192.168.133.149:2180# 連線zookeeper單

單機配置kafkazookeeper

events style loser fluent RM topic ssa url zookeepe 1:環境準備 jdk 推薦oracle,不建議open sdk 在/etc/profile加入下列環境變量 在PATH中將jdk和jre的bin加入path裏面 $J

zookeeper安裝

none tar ini star javase oracle sid www 服務器 Zookeeper 概述ZooKeeper是一種分布式協調服務,用於管理大型主機。在分布式環境中協調和管理服務是一個復雜的過程。ZooKeeper通過其簡單的架構和API解決了這個問題。

單機的redis的安裝以及redis生產環境啟動方案

▌大綱 1、安裝單機版的redis 2、redis的生產環境啟動方案 3、redis cli的使用   ▌1、安裝單機版redis wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz tar -zx

生產環境單機Redis5.0的安裝和啟動方案

目錄 安裝單機版redis redis的生產環境啟動方案 redis的啟動和關閉 redis 配置公網可訪問 安裝 wget http://download.redis.io/releases/re

nodejs之簡單的秒殺系統實現(mysqlrediskafkazookeeperpostman或docker)

nodejs之簡單的秒殺系統實現(mysql、redis、kafka、zookeeper或docker) 一:環境 二:工具說明 三:程式碼實現 四:啟動專案 五:測試 一:環境 1.一臺阿里雲

mac下單機 kafka + spark + python搭建與例項

kafka+zookeeper 不提供spark安裝,這裡從kafka安裝開始 首先下載kafka和zookeeper brew install zookeeper 等它安裝完畢,先進入zookeeper資料夾,往往在/usr/local/Cella

Centos下Spark單機(python)安裝配置

如果上面都成功了,那說明我們就基本安裝成功了,可以用scala或者python來開發相關程式了。但是如果我們希望能夠在一個很清新的IDE中開發程式怎麼辦?那麼這裡強烈推薦一款互動式的開發工具-jupyter notebook。接下來我們就來配置該工具,以保證能連線上sprak。

大資料之hadoop單機虛擬機器Vmware安裝教程

        為深入學習hadoop,需要在個人電腦中安裝cloudera_centos虛擬機器。本篇文件介紹的就是關於cloudera_centos虛擬機器的安裝教程。(推薦使用virtualbox

最新版hadoop2.7.1單機與偽分散式安裝配置

前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop

rediskafkazookeeper 叢集辨析

叢集的目的:     1.保證高可用     2.增強併發能力,提高系統的吞吐量。

CentOS6.5下kafkaZooKeeper下載與安裝詳細教程-單機

(注:在大資料分析系統中,不會安裝單機版,所以可以直接去看多機版教程,多機版教程也是完整的。) 下載zookeeper: 安裝zookeeper: 將zookeeper-3.4.6.tar.gz拿U盤複製到/home/hadoop目錄下 cd /home/hadoo

kafka在linux安裝單機(--zookeeper未識別的坑)

kafka安裝評測 下載地址:http://archive.apache.org/dist/kafka/2.0.0/ 可以直接通過wget下載 依賴jdk環境 可以安裝在/usr/local中 vim server.properties 修改對外的IP地址,否則kafka在

kafka+zookeeper環境配置(linux環境單機

producer lai ror detail gin prop tex wget start 版本: CentOS-6.5-x86_64 zookeeper-3.4.6 kafka_2.10-0.10.1.0 一.zookeeper下載與安裝 1)下載 $ wge

kafka】簡單安裝kafka單機

kafka topic 1.安裝kafka下載地址 : https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgzrz tar zxf kafka_2.11-0.9.0.0.tgz mv kafka_

zookeeper單機安裝

zookeeper ZooKeeper是一個分布式的,開放源碼的分布式應用程序協調服務,是Google的Chubby一個開源的實現,是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件,提供的功能包括:配置維護、域名服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易

Kubernetes(k8s)入門單機安裝kuberctl指令k8s服務實例

單機版 nbsp href Kubernete net 實例 http itl 安裝 https://blog.csdn.net/qq_34701586/article/details/78732470Kubernetes(k8s)入門、