docker kafka叢集安裝部署
安裝包下載
前置準備
jdk映象
kafka安裝包
解壓
tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/local
mv kafka_2.10-0.8.2.1 kafka
cd /usr/local/kafka/config
修改配置檔案:
cp server.properties server.properties.bak
vim server.properties
修改如下內容:
刪除broker.id=0
刪除host.name=
增加delete.topic.enable=true
修改log.cleaner.enable=true
修改zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
上面兩個引數由於每個容器不同,所以我們暫時刪除,在容器啟動時注入就可以啟動多個不同的容器了
修改/etc/hosts
增加zk和kafka對映
配置環境變數
vim /etc/bashrc
增加KAFKA_HOME並修改PATH 如果希望docker自啟動開啟kafka可以在裡面增加kafka開啟命令
然後就可以commit了。 執行新docker:
docker run -itd --name xxx -e BROKER_ID=0 -e MY_HOST_NAME=kafka1 \
--net 子網 --ip kafkaIp containerId \
sh -c 'cp /tmp/hosts /etc/hosts && echo -e "broker.id=$BROKER_ID\nhost.name=$MY_HOST_NAME" >> /usr/local/kafka/config/server.properties && /bin/bash'
修改-e引數即可啟動多個不同的kafka節點
相關推薦
docker kafka叢集安裝部署
安裝包下載 前置準備 jdk映象 kafka安裝包 解壓 tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/local mv kafka_2.10-0.8.2.1 kafka cd /usr/local/kafka/config
安裝部署(六) Kafka叢集安裝部署以及Producer和Consumer的JAVA程式碼測試
Kafka叢集安裝部署以及Producer和Consumer的JAVA程式碼測試 kafka scala2.11_0.10.0.0 ubuntu 14.04.04 x64 hadoop 2.7.2spark 2.0.0 scala 2.11.8 jdk 1.8.0_101
Kafka的叢集安裝部署
架構圖 1)Producer :訊息生產者,就是向kafka broker發訊息的客戶端。 2)Consumer :訊息消費者,向kafka broker取訊息的客戶端 3)Topic :可以理解為一個佇列。 4) Consumer Group (CG):這是ka
大資料學習之路94-kafka叢集安裝
解壓 Kafka 安裝包 修改配置檔案 config/server.properties vi server.properties broker.id=0 //為依次增長的:0、1、2、3、4,叢集中唯一id log.dirs=/kafkaData/logs // Kafka
kafka叢集安裝步驟
準備工作: 安裝好zookeeper叢集 一、上傳並解壓 1. cd /usr/kafka (沒有目錄的話自己建立) 2. rz 3. tar -zxvf kafka_2.12-1.1.0.tgz 二、2.修改配置檔案 /usr/kafka/kafka_2.12-1.
solr叢集安裝部署
一、安裝部署zookeeper叢集 zookeeper叢集 二、solr叢集部署 叢集配置 IP | 節點名稱 | 環境 --- | --- | --- 192.168.137.128 | 192.168.137.128 | jdk1.8, zookeeper3.4.13, solr7.5.0 192.
Redis-3.2.8的叢集安裝部署
一.下載並安裝基礎元件 yum -y install gcc automake autoconf libtool make jemalloc 二.下載redis並解壓安裝 wget http://download.redis.io/relea
spark-2.2.0 叢集安裝部署以及hadoop叢集部署
Spark在生產環境中,主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS、Hive、Cassandra等,最後可以通過啟動指令碼執行應用。
Java架構-KafKa叢集安裝詳細步驟
最近在使用Spring Cloud進行分散式微服務搭建,順便對整合KafKa的方案做了一些總結,今天詳細介紹一下KafKa叢集安裝過程: 1.在根目錄建立kafka資料夾(service1、service2、service3都建立) [[email protected]
Docker Swarm叢集中部署Traefik負載均衡器
一、建立單節點的Docker Swarm叢集 docker swarm init 二、在Swarm叢集中建立一個網路 docker network create --driver=overlay traefik --attachable
Centos7.4 Kubernets1.9叢集安裝部署
一、概述 Master元件: kube-apiserverKubernetes API,叢集的統一入口,各元件協調者,以HTTP API提供介面服務,所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。kube-controll
Centos7.3Kubernetes叢集安裝部署
•Kubernetes叢集元件: - etcd 一個高可用的K/V鍵值對儲存和服務發現系統 - flannel 實現誇主機的容器網路的通訊 - kube-apiserver 提供kubernetes叢集的API呼叫 - kube-controller-manager 確保叢集服務 -
Docker私有倉庫安裝部署
安裝Docker Engine # If these are installed, uninstall them, along with associated dependencies. $ sudo yum remove docker \
1.Hadoop叢集安裝部署
Hadoop叢集安裝部署 1.介紹 (1)架構模型 (2)使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安裝步驟 (1)部署master 建立一臺虛擬機器 Xftp傳輸jdk、hadhoop安裝
快速入門Kafka叢集的部署
一、解壓安裝包 (a)進入到此目錄下: cd /home/hadoop/tools/ (b)解壓kafka的壓縮包: tar kafka_2.11-0.11.0.2.tgz -C /home/hadoop/install/ 二、如果覺得名字太長,可以修改名字 m
kafka的web管理工具---kafka-manager安裝部署
關於kafka叢集的安裝配置,請移步:https://blog.csdn.net/Johnson8702/article/details/84588095 一、背景 在kafka裡面沒有一個較好自帶的web ui,啟動之後無法通過頁面檢視,所以,在這裡介紹一個第三方的kaf
Redis4叢集安裝部署實戰
redis伺服器的叢集主從配置,從redis的安裝到例項開啟,到叢集建立。叢集配置如圖: So in practical terms, what you get with Redis Cluster? The ability to au
Linux 下Redis叢集安裝部署及使用詳解
一、應用場景介紹 本文主要是介紹Redis叢集在Linux環境下的安裝講解,其中主要包括在聯網的Linux環境和離線的Linux環境下是如何安裝的。因為大多數時候,公司的生產環境是在內網環境下,無外網,伺服器處於離線狀態(最近公司要上線專案,就是無外網環境的Linu
七 Kafka叢集安裝
2、Kafka叢集安裝 1)修改配置檔案config/server.properties 2)啟動伺服器bin/kafka-server-start.sh config/server.properties & 3)測試 建立topic bin/kafka-topics.sh --create
Ubuntu下kubernets叢集安裝部署
Ubuntu下kubernets叢集安裝部署安裝kubeadm相關工具1. 安裝dockerapt-get updateapt-get install -y \ apt-transport-https \ ca-certificates \ curl \