1. 程式人生 > >docker kafka叢集安裝部署

docker kafka叢集安裝部署

安裝包下載

前置準備

jdk映象
kafka安裝包

解壓

tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/local
mv kafka_2.10-0.8.2.1 kafka
cd /usr/local/kafka/config

修改配置檔案:

cp server.properties server.properties.bak
vim server.properties

修改如下內容:
刪除broker.id=0
刪除host.name=
增加delete.topic.enable=true
修改log.cleaner.enable=true
修改zookeeper.connect=zk1:2181,zk2:2181,zk3:2181

上面兩個引數由於每個容器不同,所以我們暫時刪除,在容器啟動時注入就可以啟動多個不同的容器了

修改/etc/hosts

增加zk和kafka對映

配置環境變數

vim /etc/bashrc

增加KAFKA_HOME並修改PATH 如果希望docker自啟動開啟kafka可以在裡面增加kafka開啟命令

然後就可以commit了。 執行新docker:

docker run -itd --name xxx -e BROKER_ID=0 -e MY_HOST_NAME=kafka1 \
--net 子網 --ip kafkaIp containerId \
sh -c 'cp /tmp/hosts
/etc/hosts && echo -e "broker.id=$BROKER_ID\nhost.name=$MY_HOST_NAME" >> /usr/local/kafka/config/server.properties && /bin/bash'

修改-e引數即可啟動多個不同的kafka節點

相關推薦

docker kafka叢集安裝部署

安裝包下載 前置準備 jdk映象 kafka安裝包 解壓 tar -zxvf kafka_2.10-0.8.2.1.tgz -C /usr/local mv kafka_2.10-0.8.2.1 kafka cd /usr/local/kafka/config

安裝部署(六) Kafka叢集安裝部署以及Producer和Consumer的JAVA程式碼測試

Kafka叢集安裝部署以及Producer和Consumer的JAVA程式碼測試 kafka scala2.11_0.10.0.0 ubuntu 14.04.04 x64 hadoop 2.7.2spark 2.0.0 scala 2.11.8 jdk 1.8.0_101

Kafka叢集安裝部署

架構圖 1)Producer :訊息生產者,就是向kafka broker發訊息的客戶端。 2)Consumer :訊息消費者,向kafka broker取訊息的客戶端 3)Topic :可以理解為一個佇列。 4) Consumer Group (CG):這是ka

大資料學習之路94-kafka叢集安裝

解壓 Kafka 安裝包 修改配置檔案 config/server.properties vi server.properties broker.id=0 //為依次增長的:0、1、2、3、4,叢集中唯一id log.dirs=/kafkaData/logs // Kafka

kafka叢集安裝步驟

準備工作: 安裝好zookeeper叢集 一、上傳並解壓 1. cd /usr/kafka (沒有目錄的話自己建立) 2. rz 3. tar -zxvf kafka_2.12-1.1.0.tgz 二、2.修改配置檔案 /usr/kafka/kafka_2.12-1.

solr叢集安裝部署

一、安裝部署zookeeper叢集 zookeeper叢集 二、solr叢集部署 叢集配置 IP | 節點名稱 | 環境 --- | --- | --- 192.168.137.128 | 192.168.137.128 | jdk1.8, zookeeper3.4.13, solr7.5.0 192.

Redis-3.2.8的叢集安裝部署

一.下載並安裝基礎元件 yum -y install gcc automake autoconf libtool make jemalloc 二.下載redis並解壓安裝 wget http://download.redis.io/relea

spark-2.2.0 叢集安裝部署以及hadoop叢集部署

Spark在生產環境中,主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS、Hive、Cassandra等,最後可以通過啟動指令碼執行應用。

Java架構-KafKa叢集安裝詳細步驟

最近在使用Spring Cloud進行分散式微服務搭建,順便對整合KafKa的方案做了一些總結,今天詳細介紹一下KafKa叢集安裝過程: 1.在根目錄建立kafka資料夾(service1、service2、service3都建立) [[email protected]

Docker Swarm叢集部署Traefik負載均衡器

   一、建立單節點的Docker Swarm叢集 docker swarm init   二、在Swarm叢集中建立一個網路 docker network create --driver=overlay traefik --attachable  

Centos7.4 Kubernets1.9叢集安裝部署

一、概述 Master元件: kube-apiserverKubernetes API,叢集的統一入口,各元件協調者,以HTTP API提供介面服務,所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。kube-controll

Centos7.3Kubernetes叢集安裝部署

•Kubernetes叢集元件:  - etcd 一個高可用的K/V鍵值對儲存和服務發現系統  - flannel 實現誇主機的容器網路的通訊  - kube-apiserver 提供kubernetes叢集的API呼叫  - kube-controller-manager 確保叢集服務  -

Docker私有倉庫安裝部署

安裝Docker Engine # If these are installed, uninstall them, along with associated dependencies. $ sudo yum remove docker \

1.Hadoop叢集安裝部署

Hadoop叢集安裝部署 1.介紹 (1)架構模型 (2)使用工具 VMWARE cenos7 Xshell Xftp jdk-8u91-linux-x64.rpm hadoop-2.7.3.tar.gz 2.安裝步驟 (1)部署master 建立一臺虛擬機器 Xftp傳輸jdk、hadhoop安裝

快速入門Kafka叢集部署

一、解壓安裝包 (a)進入到此目錄下: cd /home/hadoop/tools/ (b)解壓kafka的壓縮包: tar kafka_2.11-0.11.0.2.tgz -C /home/hadoop/install/ 二、如果覺得名字太長,可以修改名字 m

kafka的web管理工具---kafka-manager安裝部署

關於kafka叢集的安裝配置,請移步:https://blog.csdn.net/Johnson8702/article/details/84588095   一、背景 在kafka裡面沒有一個較好自帶的web ui,啟動之後無法通過頁面檢視,所以,在這裡介紹一個第三方的kaf

Redis4叢集安裝部署實戰

redis伺服器的叢集主從配置,從redis的安裝到例項開啟,到叢集建立。叢集配置如圖: So in practical terms, what you get with Redis Cluster? The ability to au

Linux 下Redis叢集安裝部署及使用詳解

一、應用場景介紹   本文主要是介紹Redis叢集在Linux環境下的安裝講解,其中主要包括在聯網的Linux環境和離線的Linux環境下是如何安裝的。因為大多數時候,公司的生產環境是在內網環境下,無外網,伺服器處於離線狀態(最近公司要上線專案,就是無外網環境的Linu

Kafka叢集安裝

2、Kafka叢集安裝 1)修改配置檔案config/server.properties 2)啟動伺服器bin/kafka-server-start.sh config/server.properties & 3)測試 建立topic bin/kafka-topics.sh --create

Ubuntu下kubernets叢集安裝部署

Ubuntu下kubernets叢集安裝部署安裝kubeadm相關工具1. 安裝dockerapt-get updateapt-get install -y \    apt-transport-https \    ca-certificates \    curl \