1. 程式人生 > >Kafka_2.10-0.10.0.0叢集安裝與配置

Kafka_2.10-0.10.0.0叢集安裝與配置

     上文已經講過如何安裝Zookeeper叢集,因為Kafka叢集需要依賴Zookeeper服務,雖然Kafka有內建Zookeeper,但是還是建議獨立安裝Zookeeper叢集服務,此處不再贅述

     kafka叢集還是安裝在10.10.16.170  、 10.10.16.132  、10.10.16.133三臺機器上面

    1、kafka官網下載kafka_2.10-0.10.0.0.tgz壓縮包,解壓縮

     2、修改/appcom/kafka_2.10-0.10.0.0/config/server.properties檔案:

     10.10.16.170機器:

    broker.id=1

    host.name=CENTOS170

    listeners=PLAINTEXT://CENTOS170:9092

   advertised.listeners=PLAINTEXT://CENTOS170:9092

   log.dirs=/data/kafka-logs

   num.partitions=4

   zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181

  其他配置暫時採取預設

   10.10.16.132機器:

    broker.id=2

    host.name=CENTOS132

    listeners=PLAINTEXT://CENTOS132:9092

   advertised.listeners=PLAINTEXT://CENTOS132:9092

   log.dirs=/data/kafka-logs

   num.partitions=4

   zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181

  其他配置暫時採取預設

   10.10.16.132機器:

    broker.id=2

    host.name=CENTOS132

    listeners=PLAINTEXT://CENTOS132:9092

   advertised.listeners=PLAINTEXT://CENTOS132:9092

   log.dirs=/data/kafka-logs

   num.partitions=4

   zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181

  其他配置暫時採取預設


   10.10.16.133機器:

    broker.id=3

    host.name=CENTOS133

    listeners=PLAINTEXT://CENTOS133:9092

   advertised.listeners=PLAINTEXT://CENTOS133:9092

   log.dirs=/data/kafka-logs

   num.partitions=4

   zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181

  其他配置暫時採取預設

    3、在每臺伺服器分別啟動kafka服務:

     ./kafka-server-start.sh  /appcom/kafka_2.10-0.10.0.0/config/server.properties & (以這種方式啟動kafka應用後,kafka總會莫名其妙的退出。後來改為這種命令啟動:

         ./kafka-server-start.sh -daemon  /appcom/kafka_2.10-0.10.0.0/config/server.properties  解決了問題)

    4、任意一臺機器上面,測試:       在kafka中建立名為“cmy_nbd_topic1”的topic,該topic切分為4份,每一份備份數為3

       ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 4 --topic  cmy_nbd_topic1

    5、列出所有topic :

   ./kafka-topics.sh --list --zookeeper CENTOS170:2181,CENTOS132:2181,CENTOS133:2181


相關推薦

Kafka_2.10-0.10.0.0叢集安裝配置

     上文已經講過如何安裝Zookeeper叢集,因為Kafka叢集需要依賴Zookeeper服務,雖然Kafka有內建Zookeeper,但是還是建議獨立安裝Zookeeper叢集服務,此處不再贅述      kafka叢集還是安裝在10.10.16.170  、

win10下VS2017中opencv3.1.0及contrib模組的安裝配置注意事項

一、平臺與軟體下載 1.win10+vs2017+cmake3.10.2+opencv3.1.0+3.1.0contrib 注:opencv上官網下載,contirb模組與opencv版本相同 二、參考部落格 1.opencv 3.1.0與contrib下載好了之後,

Tomcat7.0.85解壓版安裝配置

功能強大的Tomcat,自己裝的時候摸索了很久,總是有些小問題,為了方便自己,方便大家。寫此教程~首先下載:在官網下,千萬別在某某軟體網,簡直坑。官網地址http://tomcat.apache.org/。我安裝的是壓縮包版的,比較省事。初學,用不著啥很新的功能就下載了7版本

solr5.5.0在CenOS上的安裝配置

1、 Solr簡介 Solr是一個基於Lucene的Java搜尋引擎伺服器。Solr 提供了層面搜尋、命中醒目顯示並且支援多種輸出格式(包括 XML/XSLT 和 JSON 格式)。它易於安裝和配置,而且附帶了一個基於 HTTP 的管理介面。Solr已經在眾多大型的網站中使用,較為成熟和穩定。Solr 包裝

MongoDB 4.0在Windows下的安裝配置

安裝:在官網上下載後,只需在consume上面定義安裝路徑即可 配置:MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! 不要再看一些人畫蛇添足了!

Kubernetes學習系列之簡單叢集安裝配置

環境配置 CentOS Linux release 7.3.1611 (Core)  etcd-v3.2.6 docker-ce-17.03.2.ce kubernetes-v1.6.9 192.168.108.128 節點1 192.168.108.129 節點2 19

MySQL Galera 叢集安裝配置

galera 叢集概述與搭建 Galera replication原理 從客戶端看整體的流程 其中對應的角色分為2個:協調者和參與者 協調者: 1、 接收客戶端請求 2、 廣播請求到其他參與者(包括自己) 3、 作為參與者進行資料更新 4、 更新失敗

ZooKeeper叢集安裝配置(ZooKeeper3.4.6)

環境 同時需要在/etc/profile檔案中增加 export JAVA_HOME=/usr/java/jdk1.8.0_65 export CLASSPATH=.:$JAVA_HOM

spark叢集安裝配置

Spark有三種執行模式,分別為: local模式-只執行在本地,相當於偽分散式 standalone模式-這種模式只需要安裝Spark即可,使用自帶的資源管理器 Spark on yarn/mesos模式-這種模式Spark將使用yarn/mesos作為資源管理器 一般來

Kubernetes叢集安裝配置

注:本文系統環境為centos7,master:10.1.1.1,node1:10.1.1.2 etcd安裝與配置 使用yum install etcd或者官網下載etcd進行安裝,copy etcd和etcdctl到/usr/bin目錄下 設定syste

kafka+zookeeper叢集安裝配置(CENTOS7環境)及開發中遇到的問題解決

kafka+zookeeper叢集安裝與配置及問題解決(CENTOS)ZOOKEEPER 叢集主要配置(zoo.cfg) :tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/spark/zookeeper-3.4.6/zkdata data

ubuntu 10.10安裝配置CUDA 4.0

謹以此文想給那些被Linux搞得折翼的小盆友們,當然還有我自己…… 首先下載驅動,toolkit 還有SDK…… 安裝前確認這些檔案都是可執行的,如果不是執行以下命令: sudo chmod a+x [檔名] 然後是安裝驅動的問題,估計很多人十分頭疼…… 按下Ctrl加

03. CouchBase叢集安裝配置(02)-CouchBase從0到50

4.叢集配置 couchbase叢集可以採用2種方式配置 直接ip叢集互聯 通過hostname叢集互聯 為了方便以後的維護和變更,我們採用hostname的進行配置。 首先確保三臺測試機之間網路互通,防護牆,selinux和埠之類的都配置ok了。 4.1 hosts設定 配置三臺機

redis3.0.0 叢集安裝整理總結

叢集搭建 http://blog.csdn.net/xu470438000/article/details/42971091 redis window安裝與使用 遠端連線 1)  預設無許可權控制: 遠端服務連線: $ redis-cli -h 127.0.0.1

hadoop-2.2.0偽分散式(全分佈叢集安裝配置續,很詳細的哦~)

         hadoop-2.2.0偽分散式與(全分佈叢集安裝於配置續) hadoop-2.2.0全分佈叢集安裝於配置點選開啟連結 一、偽分佈模式 1、前提說明 我這裡配置hadoop叢集均是在虛擬機器上配置的,使用的安裝環境說明如下:       (1) 宿主機wi

CentOS-7.0.中安裝配置Tomcat-7的方法

代碼 accept iptables jdk1.7 ews 啟動 state cat 解決方案 轉自:http://www.linuxidc.com/Linux/2015-08/122241.htm 安裝說明 安裝環境:CentOS-7.0.1406安裝方式:源碼安裝

VS2008下安裝配置DirectShow SDK 9.0 及 DirectShow AMCap改裝的問題

靜態庫 cfa -c class 文件目錄 call ref stat and 一、 安裝DirectShow。 我裝的是DirectShow SDK 9.0b。安裝程序名為DXSDK_Jun10.exe。 下載地址:https://pan.

Spark 2.2.0 安裝配置

mem p s template .sh org uri 文件 圖片 with 下載Spark 解壓並移動到/software目錄: tar -zxvf spark-2.2.0-bin-without-hadoop.tgz mv spark-2.2.0-bin-withou

SBT 1.0.3安裝配置

-m export home 添加 pre ref images ima com 下載SBT 解壓並且移動到/software目錄 tar -zxvf sbt-1.0.3.tgz mv sbt /software/sbt 在/etc/profile文件中添加: export

Java JDK8.0安裝配置

net 完成 空格 cmd jdk1.8 兩種方法 計算 ase enter ava JDK8.0整個過程分3個階段:下載安裝、設置環境變量、調試檢查。JDK8.0分為32位和64位兩個版本,請根據個人計算機的操作系統位數來選擇相應的版本。本文以32位版本,在win7下的安