支援初始化資料的Zookeeper Docker映象

最近在做一個演示專案 https://github.com/cnscud/cavedemo, 自然為了方便, 也做了docker打包, 發現zookeeper的映象沒有匯入初始化資料的功能, 於是自己做了一個映象, 還是蠻簡單的.

映象已經發布在 https://hub.docker.com/r/cnscud/zookeeper 官方倉庫.

使用方法1: 命令列直接執行

沒引數的話和官方映象一樣, 也可以指定引數, 建議用docker-compose.

docker run --name zk1 -d -p 2181:2181 cnscud/zookeeper:zk3.6-0.1

使用docker-compose, 方便設定引數

下面是一個例子: samples/docker-compose1/docker-compose.yml:

version: '3'
services:
  cnscud-zookeeper:
    image: cnscud/zookeeper:zk3.6-0.1
    volumes:
      - ./init.data:/init.data/
      - ./rundata/data:/data
      - ./rundata/logs:/datalog
    container_name: cnscud-sample-zk1
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"
    restart: on-failure
    ## use the hostname in project
    hostname: cnscud-sample-zk1.cnscud.com

你可以在 samples/docker-compose1 目錄下發現所需的所有檔案: https://github.com/cnscud/cnscud-docker/tree/main/docker-zookeeper/samples/docker-compose1

初始化資料使用說明

我們可以看到, 在volume裡綁定了一個 /init.data/ 目錄, 那麼還有什麼特定規則哪?

需要準備一個指令碼檔案 "import.data.zk.sh", 放在這個目錄裡, 用來初始化資料, 至於檔案內容, 就根據你的需要來編寫了.

下面是一個例子, 是從檔案裡讀取節點內容, 並設定到zookeeper的節點上去.

#!/bin/bash
## for init zookeeper data, you need update this file.
##
## author: felix zhang https://github.com/cnscud/  2021.8.22
##
## please make sure the file 755
##
CMD=`which zkCli.sh`
find="1"
if [ -z $CMD ]
then
	find="0"
fi
if [ $find = "0" ]
then
	CMD="$ZK_HOME/bin/zkCli.sh"
fi
echo $CMD
if [ -z $CMD ]
then
  echo "not found zkCli.sh, please check!!!"
  exit 1
fi
$CMD  create /xpower "1"
$CMD  create /xpower/cache "1"
$CMD  create /xpower/config "1"
$CMD  create /xpower/dbn "1"
## read from file!!!
## read from file!!!
## read from file!!!
$CMD  create /xpower/cache/redis.test "`cat /init.data/redis.test.conf`"
$CMD  create /xpower/config/kafka "`cat /init.data/kafka.conf`"
$CMD  create /xpower/dbn/cavedemo "`cat /init.data/mysql.cavedemo.conf`"

我們可以看到這個指令碼做了幾件事:

查詢zkCli.sh, 並設定正確的路徑
建立各級節點
建立最終的節點, 節點的內容是從檔案讀取的, 可以支援換行和雙引號等, 要特別注意這個語法.

在這個腳本里, 使用zookeeper自帶的zkCli.sh 指令碼建立你的節點, 可以通過下面的命令從檔案讀入節點內容:

"cat /init.data/kafka.conf"

要注意這個腳本里用到的檔案要實現放到統一目錄下, 或者其他繫結的目錄下.

原理分析

我們用 docker inspect 或者直接檢視git倉庫可以看到官方docker的設定:

ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["zkServer.sh", "start-foreground"]

如果我們需要匯入資料, 則需要先後臺啟動zookeeper, 執行匯入操作, 然後重啟zookeeper, 不過要放在foreground方式啟動.

看看這個重寫的dockerfile:

FROM zookeeper:3.6
##
## docker image for zookeeper with init data feature.
##
## author: Felix Zhang<cnscud@gmail.com>  2021.8.23
## website: https://github.com/cnscud/cnscud-docker
LABEL OG=cnscud.com
LABEL maintainer="Felix Zhang<cnscud@gmail.com>"
LABEL reference="https://github.com/cnscud/cnscud-docker"
## my entrypoint script
ADD cnscud-docker-entrypoint.sh /
## timezone
ENV TZ=Asia/Shanghai
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
## declare the volumen for init data
VOLUME /init.data
## declare the port
EXPOSE 2181
## ===================================
## from official zookeeper as reference
# ENTRYPOINT ["/docker-entrypoint.sh"]
# CMD ["zkServer.sh" "start-foreground"]
ENTRYPOINT ["/cnscud-docker-entrypoint.sh"]
CMD ["zkServer.sh","start-foreground"]

裡面重新聲明瞭ENTRYPOINT, 換成了自定義版本的 cnscud-docker-entrypoint.sh. 裡面還聲明瞭VOLUME /init.data .

當然我們儘量複用原有的指令碼, 而不是改的面目全非(畢竟那麼亂...), 我們來看看:

#!/bin/bash
## script for support import data with zookeeper
## author: felix zhang 2021.8.22
## please make sure the file 755
# set -e
initedfile="/data/zk.cnscud.inited"
initcmdfile='/init.data/import.data.zk.sh'
needcallinit="Y"
#
if [ ! -f "$initedfile" ]
then
  needcallinit="Y${needcallinit}"
else
  echo "[cnscud] data had inited, will not init again."
fi
if [ -f "$initcmdfile" ]
then
  needcallinit="Y${needcallinit}"
else
  echo "[cnscud] not found script for init data, skip."
fi
echo "check needcallinit is: $needcallinit"
## start my import data ====================
if [ $needcallinit = "YYY" ]
then
  ## start in backgroup by original entry point
  /docker-entrypoint.sh zkServer.sh start
  ## waiting for zookeeper
  sleep 10
  echo "[cnscud] call init data now..."
  date > "$initedfile"
  ##import data
  sh $initcmdfile >> $initedfile
  /docker-entrypoint.sh zkServer.sh stop
  ## mark
  echo "[cnscud] mark: init was finished!"
  date >> "$initedfile"
  echo "done" >> "$initedfile"
fi
## end my import data ====================
echo "[cnscud] Starting Zookeeper in foreground mode..."
/docker-entrypoint.sh $@

我們可以看到這個程式碼其實很簡單, 雖然很多行:

首選判斷是否已經執行過, 用 /data/zk.cnscud.inited 檔案方式來標記
如果沒有初始化過, 則後臺方式啟動zkServer
執行初始化指令碼
停止 zkServer
重新按預設引數或傳入的引數啟動zkServer.

感想

其實很簡單, 只不過第一次釋出映象到docker hub, 沒想到社群非常開放, 任何人都能釋出映象上去, 就導致很混亂, 很多映象沒有說明, 沒有人維護, 但下載量很大. 希望不要像npm那麼出現問題.

docker很好, 準備好記憶體和硬碟~!

感謝

感謝google, stackoverflow, withpy 以及我的家人.

支援初始化資料的Zookeeper Docker映象