ZooKeeper為分散式應用系統提供了高效能服務，在很多常見的叢集服務中被廣泛使用，最常見的當屬HBase叢集了，其它的還有Solr叢集，Hadoop-2中的HA自動故障轉移等。本文主要介紹了為HBase叢集部署ZooKeeper叢集的過程，並說明了部署過程中遇到的問題。

    預設情況下，由HBase管理ZooKeeper的啟動和停止，要想修改這一預設行為，需要將hbase-env.sh中的export HBASE_MANAGES_ZK=true改為export HBASE_MANAGES_ZK=false，並在啟動HBase之前先啟動ZooKeeper叢集。在${ZOOKEEPER_HOME}/conf中複製zoo_sample.cfg為zoo.cfg，並修改dataDir為用於儲存ZooKeeper資料的目錄，預設為/tmp/zookeeper。然後新增用於叢集的伺服器，格式為：server.1=hostname1:連線埠:選舉埠，其中的1為myid檔案中的值。比如對於擁有三個節點的ZooKeeper叢集，示例配置可能為：

server.1=CentOS-1:2888:3888
server.2=CentOS-2:2888:3888
server.3=CentOS-3:2888:3888

2015-07-03 15:37:40,877 [myid:] - ERROR [main:
 
[email protected]] - Invalid config, exiting abnormally
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing /home/search/zookeeper-3.4.6/bin/../conf/zoo.cfg
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:123)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:101)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)
Caused by: java.lang.IllegalArgumentException: /HData/zookeeper/myid file is missing
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parseProperties(QuorumPeerConfig.java:350)
at org.apache.zookeeper.server.quorum.QuorumPeerConfig.parse(QuorumPeerConfig.java:119)
... 2 more
Invalid config, exiting abnormally
 

    在每臺ZooKeeper節點對ZooKeeper進行修改完畢後，由於ZooKeeper沒有start-hbase或者start-dfs類似的啟動所有節點的指令碼，所以必須在每臺伺服器上分別執行${ZOOKEEPER_HOME}/bin/zkServer.sh start啟動ZooKeeper。啟動完畢後可以執行${ZOOKEEPER_HOME}/bin/zkServer.sh status檢查狀態，比如：

JMX enabled by default
Using config: /application/search/zookeeper/bin/../conf/zoo.cfg
Mode: follower

    ZooKeeper叢集成功啟動後，需要修改hbase-site.xml中的引數hbase.zookeeper.quorum，使其值包含所有ZooKeeper節點，比如CentOS-1,CentOS-2,CentOS-3，之間用逗號分隔。

    而對於單節點的ZooKeeper來說，則不需要在配置檔案zoo.cfg中設定伺服器相關的資訊，即不需要設定server.x，因而也就無需建立對應的myid檔案。對於單節點的ZooKeeper還有一個問題需要注意，該問題屬於ZooKeeper本身的一個Bug，但已經在版本3.4.7, 3.5.2, 3.6.0中修復，具體可參考ZOOKEEPER-832，異常資訊如下：

2015-07-22 13:00:23,286 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Accepted socket connection from /10.10.32.223:15489
2015-07-22 13:00:23,286 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Refusing session request for client /10.10.32.223:15489 as it has seen zxid 0x210d711 our last zxid is 0x26ca client must try another server
2015-07-22 13:00:23,287 [myid:] - INFO  [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:[email protected]] - Closed socket connection for client /10.10.32.223:15489 (no session established for client)

    該問題是由於修改了ZooKeeper的${dataDir}目錄到新目錄或者刪除目錄中的檔案引起的。

    在部署ZooKeeper時還遇到了日誌輸出的問題，在不做任何與日誌有關的修改時，會將ZooKeeper日誌輸出到單一的zookeeper.out檔案，如果長時間執行，將導致該檔案非常巨大，對其檢視將非常不方便，因此需要修改zkEnv.sh、log4j.properties。對zkEnv.sh做如下的修改，分別指定日誌儲存的目錄，日誌輸出的級別及輸出的地方：

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    #ZOO_LOG_DIR="." #預設值為當前目錄
    ZOO_LOG_DIR="/HData/log/zookeeper/"
fi
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    #ZOO_LOG4J_PROP="INFO,CONSOLE"
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

    然後修改log4j.properties檔案，註釋部分為原有值，新增部分取代了原有值：

#zookeeper.root.logger=INFO, CONSOLE
zookeeper.root.logger=INFO.ROLLINGFILE #日誌輸出的級別及輸出的地方
#log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender #日誌檔案的appender
# Max log file size of 10MB
#log4j.appender.ROLLINGFILE.MaxFileSize=10MB #禁用該屬性
# uncomment the next line to limit number of backup files
#log4j.appender.ROLLINGFILE.MaxBackupIndex=10

    做完上述部分的修改後，ZooKeeper將日誌輸出到${ZOO_LOG_DIR}/zookeeper.log中，每天都會生成新的日誌檔案，並將之前的檔案重新命名為zookeeper.log.2015-07-22。即使做了上述修改依然會生成zookeeper.out，儘管此時該檔案的內容為空，但對於不喜歡該檔案的使用者來說，則需要修改zkServer.sh檔案，將下面的行替換如下，這樣就不會在日誌目錄中存在zookeeper.out檔案。

nohup "$JAVA" "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
-cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null &

nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
    -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > /dev/null 2>&1 < /dev/null &

    本文簡要描述了ZooKeeper叢集的部署安裝，並分析了安裝過程中遇到的問題，最後說明了如何修改ZooKeeper的預設日誌配置，以使日誌輸出到指定目錄和檔案中。