K8S 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 叢集
阿新 • • 發佈：2020-11-06
## 搭建 Kafka:2.13-2.6.0 和 Zookeeper:3.6.2 叢集
### 一、服務版本資訊：
* **Kafka**：v2.13-2.6.0
* **Zookeeper**：v3.6.2
* **Kubernetes**：v1.18.4
### 二、製作 Zookeeper 映象
Zookeeper 使用的是 docker hub 中提供的官方映象，使用如下命令可以直接下載：
```bash
docker pull zookeeper:3.6.2
```
由於官方映象中使用的啟動指令碼不適用於我們公司內部使用，所以對其中的 docker-entrypoint.sh 指令碼和 Dockerfile 進行了一些修改。
#### 1. 修改 docker-entrypoint.sh 指令碼
修改後的 docker-entrypoint.sh 指令碼如下（原指令碼內容可參考：https://github.com/31z4/zookeeper-docker/tree/2373492c6f8e74d3c1167726b19babe8ac7055dd/3.6.2）：
```bash
#!/bin/bash
set -e
HOST=$(hostname -s)
DOMAIN=$(hostname -d)
CLIENT_PORT=2181
SERVER_PORT=2888
ELECTION_PORT=3888
function createConfig(){
if [[ ! -f "$ZOO_CONF_DIR/${HOST}/zoo.cfg" ]]; then
# 根據傳入的變數建立目錄
mkdir -p $ZOO_CONF_DIR/${HOST}
mkdir -p $ZOO_DATA_DIR/${HOST}
mkdir -p $ZOO_DATA_LOG_DIR/${HOST}
# 向 zoo.cfg 中寫入一些必要的配置項，這些變數是在 Dockerfile 中定義好的，如果需要修改可以在 yaml 檔案中定義 env
CONFIG="$ZOO_CONF_DIR/${HOST}/zoo.cfg"
{
echo "dataDir=$ZOO_DATA_DIR/${HOST}"
echo "dataLogDir=$ZOO_DATA_LOG_DIR/${HOST}"
echo "tickTime=$ZOO_TICK_TIME"
echo "initLimit=$ZOO_INIT_LIMIT"
echo "syncLimit=$ZOO_SYNC_LIMIT"
echo "autopurge.snapRetainCount=$ZOO_AUTOPURGE_SNAPRETAINCOUNT"
echo "autopurge.purgeInterval=$ZOO_AUTOPURGE_PURGEINTERVAL"
echo "maxClientCnxns=$ZOO_MAX_CLIENT_CNXNS"
echo "standaloneEnabled=$ZOO_STANDALONE_ENABLED"
echo "admin.enableServer=$ZOO_ADMINSERVER_ENABLED"
} >> ${CONFIG}
if [[ -n $ZOO_4LW_COMMANDS_WHITELIST ]]; then
echo "4lw.commands.whitelist=$ZOO_4LW_COMMANDS_WHITELIST" >> ${CONFIG}
fi
# 如果需要新增其他配置項，可以在 yaml 檔案的 env 配置中設定 ZOO_CFG_EXTRA 變數，將額外配置項都寫在這一個變數中
# 需要注意的是，新增額外配置項，value 一定要使用 zookeeper 能識別的名稱，因為下面沒有做任何格式轉換
for cfg_extra_entry in $ZOO_CFG_EXTRA; do
echo "$cfg_extra_entry" >> ${CONFIG}
done
fi
}
# 由於 sts 是以 “服務名稱-編號” 的格式來命名的 Pod，下面用於獲取主機名中的數字編號和服務的名稱
function getHostNum(){
if [[ $HOST =~ (.*)-([0-9]+)$ ]]; then
NAME=${BASH_REMATCH[1]}
ORD=${BASH_REMATCH[2]}
else
echo "Fialed to parse name and ordinal of Pod"
exit 1
fi
}
# 建立 Zookeeper 叢集的 myid，這樣可以確保生成的 myid 是唯一且遞增的
function createID(){
ID_FILE="$ZOO_DATA_DIR/${HOST}/myid"
MY_ID=$((ORD+1))
echo $MY_ID > $ID_FILE
}
# 向配置檔案中寫入各個節點的資訊，這樣叢集才能生效。需要注意的是，一定要向容器中傳入 SERVERS 變數，而且這個變數的值要和副本數保持一致
# 所以後續要擴容節點的時候，只需要更改副本數和 SERVERS 變數的值即可
function addServer(){
for (( i=1; i<=$SERVERS; i++ ))
do
s="server.$i=$NAME-$((i-1)).$DOMAIN:$SERVER_PORT:$ELECTION_PORT;$CLIENT_PORT"
[[ $(grep "$s" $ZOO_CONF_DIR/${HOST}/zoo.cfg) ]] || echo $s >