Kafka_2.10-0.10.0.0叢集安裝與配置
上文已經講過如何安裝Zookeeper叢集,因為Kafka叢集需要依賴Zookeeper服務,雖然Kafka有內建Zookeeper,但是還是建議獨立安裝Zookeeper叢集服務,此處不再贅述
kafka叢集還是安裝在10.10.16.170 、 10.10.16.132 、10.10.16.133三臺機器上面
1、kafka官網下載kafka_2.10-0.10.0.0.tgz壓縮包,解壓縮
2、修改/appcom/kafka_2.10-0.10.0.0/config/server.properties檔案:
10.10.16.170機器:
broker.id=1
host.name=CENTOS170
listeners=PLAINTEXT://CENTOS170:9092
advertised.listeners=PLAINTEXT://CENTOS170:9092
log.dirs=/data/kafka-logs
num.partitions=4
zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181
其他配置暫時採取預設
10.10.16.132機器:
broker.id=2
host.name=CENTOS132
listeners=PLAINTEXT://CENTOS132:9092
advertised.listeners=PLAINTEXT://CENTOS132:9092
log.dirs=/data/kafka-logs
num.partitions=4
zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181
其他配置暫時採取預設
10.10.16.132機器:
broker.id=2
host.name=CENTOS132
listeners=PLAINTEXT://CENTOS132:9092
advertised.listeners=PLAINTEXT://CENTOS132:9092
log.dirs=/data/kafka-logs
num.partitions=4
zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181
其他配置暫時採取預設
10.10.16.133機器:
broker.id=3
host.name=CENTOS133
listeners=PLAINTEXT://CENTOS133:9092
advertised.listeners=PLAINTEXT://CENTOS133:9092
log.dirs=/data/kafka-logs
num.partitions=4
zookeeper.connect=CENTOS170:2181,CENTOS132:2181,CENTOS133:2181
其他配置暫時採取預設
3、在每臺伺服器分別啟動kafka服務:
./kafka-server-start.sh /appcom/kafka_2.10-0.10.0.0/config/server.properties & (以這種方式啟動kafka應用後,kafka總會莫名其妙的退出。後來改為這種命令啟動:
./kafka-server-start.sh -daemon /appcom/kafka_2.10-0.10.0.0/config/server.properties 解決了問題)
4、任意一臺機器上面,測試: 在kafka中建立名為“cmy_nbd_topic1”的topic,該topic切分為4份,每一份備份數為3
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 4 --topic cmy_nbd_topic1
5、列出所有topic :
./kafka-topics.sh --list --zookeeper CENTOS170:2181,CENTOS132:2181,CENTOS133:2181
相關推薦
Kafka_2.10-0.10.0.0叢集安裝與配置
上文已經講過如何安裝Zookeeper叢集,因為Kafka叢集需要依賴Zookeeper服務,雖然Kafka有內建Zookeeper,但是還是建議獨立安裝Zookeeper叢集服務,此處不再贅述 kafka叢集還是安裝在10.10.16.170 、
win10下VS2017中opencv3.1.0及contrib模組的安裝與配置注意事項
一、平臺與軟體下載 1.win10+vs2017+cmake3.10.2+opencv3.1.0+3.1.0contrib 注:opencv上官網下載,contirb模組與opencv版本相同 二、參考部落格 1.opencv 3.1.0與contrib下載好了之後,
Tomcat7.0.85解壓版安裝與配置
功能強大的Tomcat,自己裝的時候摸索了很久,總是有些小問題,為了方便自己,方便大家。寫此教程~首先下載:在官網下,千萬別在某某軟體網,簡直坑。官網地址http://tomcat.apache.org/。我安裝的是壓縮包版的,比較省事。初學,用不著啥很新的功能就下載了7版本
solr5.5.0在CenOS上的安裝與配置
1、 Solr簡介 Solr是一個基於Lucene的Java搜尋引擎伺服器。Solr 提供了層面搜尋、命中醒目顯示並且支援多種輸出格式(包括 XML/XSLT 和 JSON 格式)。它易於安裝和配置,而且附帶了一個基於 HTTP 的管理介面。Solr已經在眾多大型的網站中使用,較為成熟和穩定。Solr 包裝
MongoDB 4.0在Windows下的安裝與配置
安裝:在官網上下載後,只需在consume上面定義安裝路徑即可 配置:MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! MongoDB 4.0已經幫你配置好了! 不要再看一些人畫蛇添足了!
Kubernetes學習系列之簡單叢集安裝與配置
環境配置 CentOS Linux release 7.3.1611 (Core) etcd-v3.2.6 docker-ce-17.03.2.ce kubernetes-v1.6.9 192.168.108.128 節點1 192.168.108.129 節點2 19
MySQL Galera 叢集安裝與配置
galera 叢集概述與搭建 Galera replication原理 從客戶端看整體的流程 其中對應的角色分為2個:協調者和參與者 協調者: 1、 接收客戶端請求 2、 廣播請求到其他參與者(包括自己) 3、 作為參與者進行資料更新 4、 更新失敗
ZooKeeper叢集安裝與配置(ZooKeeper3.4.6)
環境 同時需要在/etc/profile檔案中增加 export JAVA_HOME=/usr/java/jdk1.8.0_65 export CLASSPATH=.:$JAVA_HOM
spark叢集安裝與配置
Spark有三種執行模式,分別為: local模式-只執行在本地,相當於偽分散式 standalone模式-這種模式只需要安裝Spark即可,使用自帶的資源管理器 Spark on yarn/mesos模式-這種模式Spark將使用yarn/mesos作為資源管理器 一般來
Kubernetes叢集安裝與配置
注:本文系統環境為centos7,master:10.1.1.1,node1:10.1.1.2 etcd安裝與配置 使用yum install etcd或者官網下載etcd進行安裝,copy etcd和etcdctl到/usr/bin目錄下 設定syste
kafka+zookeeper叢集安裝與配置(CENTOS7環境)及開發中遇到的問題解決
kafka+zookeeper叢集安裝與配置及問題解決(CENTOS)ZOOKEEPER 叢集主要配置(zoo.cfg) :tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/spark/zookeeper-3.4.6/zkdata data
ubuntu 10.10下安裝與配置CUDA 4.0
謹以此文想給那些被Linux搞得折翼的小盆友們,當然還有我自己…… 首先下載驅動,toolkit 還有SDK…… 安裝前確認這些檔案都是可執行的,如果不是執行以下命令: sudo chmod a+x [檔名] 然後是安裝驅動的問題,估計很多人十分頭疼…… 按下Ctrl加
03. CouchBase叢集安裝和配置(02)-CouchBase從0到50
4.叢集配置 couchbase叢集可以採用2種方式配置 直接ip叢集互聯 通過hostname叢集互聯 為了方便以後的維護和變更,我們採用hostname的進行配置。 首先確保三臺測試機之間網路互通,防護牆,selinux和埠之類的都配置ok了。 4.1 hosts設定 配置三臺機
redis3.0.0 叢集安裝與整理總結
叢集搭建 http://blog.csdn.net/xu470438000/article/details/42971091 redis window安裝與使用 遠端連線 1) 預設無許可權控制: 遠端服務連線: $ redis-cli -h 127.0.0.1
hadoop-2.2.0偽分散式與(全分佈叢集安裝於配置續,很詳細的哦~)
hadoop-2.2.0偽分散式與(全分佈叢集安裝於配置續) hadoop-2.2.0全分佈叢集安裝於配置點選開啟連結 一、偽分佈模式 1、前提說明 我這裡配置hadoop叢集均是在虛擬機器上配置的,使用的安裝環境說明如下: (1) 宿主機wi
CentOS-7.0.中安裝與配置Tomcat-7的方法
代碼 accept iptables jdk1.7 ews 啟動 state cat 解決方案 轉自:http://www.linuxidc.com/Linux/2015-08/122241.htm 安裝說明 安裝環境:CentOS-7.0.1406安裝方式:源碼安裝
VS2008下安裝與配置DirectShow SDK 9.0 及 DirectShow AMCap改裝的問題
靜態庫 cfa -c class 文件目錄 call ref stat and 一、 安裝DirectShow。 我裝的是DirectShow SDK 9.0b。安裝程序名為DXSDK_Jun10.exe。 下載地址:https://pan.
Spark 2.2.0 安裝與配置
mem p s template .sh org uri 文件 圖片 with 下載Spark 解壓並移動到/software目錄: tar -zxvf spark-2.2.0-bin-without-hadoop.tgz mv spark-2.2.0-bin-withou
SBT 1.0.3安裝與配置
-m export home 添加 pre ref images ima com 下載SBT 解壓並且移動到/software目錄 tar -zxvf sbt-1.0.3.tgz mv sbt /software/sbt 在/etc/profile文件中添加: export
Java JDK8.0的安裝與配置
net 完成 空格 cmd jdk1.8 兩種方法 計算 ase enter ava JDK8.0整個過程分3個階段:下載安裝、設置環境變量、調試檢查。JDK8.0分為32位和64位兩個版本,請根據個人計算機的操作系統位數來選擇相應的版本。本文以32位版本,在win7下的安