ZooKeeper日誌與快照文件簡單分析
有用過Zookeeper的都知道zoo.cfg配置文件中有dataDir配置項用於存儲數據，不過可能有些人不太清楚這個目錄具體存儲的是那些數據，默認情況下這個目錄是用於存儲Log（事務日誌）與Snapshot（快照）數據，但是Zookeeper還提供了一個用於Log存儲目錄的配置項dataLogDir而dataDir用於存儲Snapshot數據，Log文件寫入頻率非常高如果有對Snapshot文件經常操作或是對Zookeeper性能要求非常高可以為Log與Snapshot分別配置不同的目錄存儲；本文主要是結合源碼分析Zookeeper的Log與Snapshot文件，這裏我分別為Log與Snapshot配置了不同的存儲目錄：dataDir=D:/zookeeper-3.4.6/data 、dataLogDir=D:/zookeeper-3.4.6/data/log；
事務日誌與Snapshot的操作是在org.apache.zookeeper.server.persistence包中，這裏也主要是分析該包下的各個類；在FileTxnSnapLog類中看到了它在我們為事務日誌與Snapshot配置的目錄下又創建了一個子目錄version-2同時又指定為該兩種文件的存儲目，在裏面還可以看到FileTxnLog、FileSnap類分別為處理事務日誌和Snapshot的；
事務日誌文件
在Zab協議中我們知道每當有接收到客戶端的事務請求後Leader與Follower都會將把該事務日誌存入磁盤日誌文件中，該日誌文件就是這裏所說的事務日誌，下面將詳細分析該日誌文件；
FileTxnLog類用於處理事務日誌文件這裏就從此類開始，在該類中看到了preAllocSize、TXNLOG_MAGIC、VERSION、lastZxidSeen、dbId等這樣的屬性：
1. preAllocSize: 默認預分配的日誌文件的大小65536*1024字節
2. TXNLOG_MAGIC：日誌文件魔數為ZKLG
3. VERSION：日誌文件版本號2
4. lastZxidSeen
類中還有一個靜態代碼塊用於讀取配置項中的preAllocSize，也就是說預分配的日誌文件大小是可配置的，接下來看看該類中最重要的一個方法append，該方法主要功能是創建新的日誌文件與往日誌文件中追加新的事務日誌記錄；從中可以看到日誌文件的相關信息：
1. 文件名為log，後綴為十六進制的ZXID
2. 日誌文件頭有：magic、version、dbid
3. 創建文件後分配的文件大小為：67108864字節+16字節，其中16字節為文件頭
4. 使用Adler32作為日誌文件的校驗碼
5. 當日誌文件寫滿預分配大大小後就擴充日誌文件一倍大小
1.1 日誌文件目錄
正如從代碼中看到的一樣version-2目錄中存儲著Zookeeper的事務日誌文件，有看到log.10、log.4f文件，這些都是Zookeeper的事務日誌文件；這兩個文件都有一個特點就是文件名為log.xx，大小為64MB文件的後綴xx時間最早的 數字總是比最晚的小。如果有了解過Zookeeper的ZAB協議那肯定知道它為每一個事務請求都分配了一個事務ID也就是ZXID，上面章節也知道了xx就是Zookeeper處理請求的ZXID，該ZXID為log文件中第一條事務的ZXID；ZXID規則為前32 字節為Leader周期，後32字節為事務請求序列，所以通過事務日誌就可以輕松的知道當前的Leader周期與每個文件所屬的Leader周期；
日誌文件可視化
事務日誌文件中存儲的都是二進制的數據，如果不借助其他工具是很難知道裏面存儲的內容的，Zookeeper也給我們提供了這樣的工具，在org.apache.zookeeper.server包中的LogFormatter類為我們提供了把事務日誌文件以我們看得懂的數據輸出的功能，這裏就使用該工具輸出該事務日誌文件，並解釋該數據；
LogFormatter工具的使用方法： java -cp ../../../zookeeper-3.4.6.jar:../../../lib/slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter log.1
日誌分析：
第一行：ZooKeeper Transactional Log File with dbid 0 txnlog format version 2
上面的代碼分析中有說到每個日誌文件都有一個這就是那裏所說的日誌頭，這裏magic沒有輸出，只輸出了dbid還有version；
第二行：15-8-12 下午03時59分53秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x1 createSession 4000
這也就是具體的事務日誌內容了，這裏是說xxx時間有一個sessionid為0x14f20ea71c10000、cxid為0x0、zxid為0x1、類型為createSession、超時時間為4000毫秒
第三行：15-8-12 下午03時59分54秒 session 0x14f20ea71c10000 cxid 0x1 zxid 0x2 create ‘/solinx0000000000,#736f6c696e78,v{s{31,s{‘world,‘anyone}}},F,1
sessionID為0x14f20ea71c10000，cxid：0x01、zxid：0x02、創建了一個節點路徑為：/solinx0000000000、節點內容為：#736f6c696e78(經過ASCII，實際內容為solinx)、acl為world:anyone任何人都可以管理該節點、節點不是ephemeral節點的、父節點子版本：1
第四行：15-8-12 下午04時15分56秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x3 closeSession null
這裏是說xxx時間有一個sessionid為0x14f20ea71c10000、cxid為0x0、zxid為0x3、類型為closeSession
快照文件
快照文件的處理在FileSnap類中，與事務日誌文件一樣快照文件也一樣有SNAP_MAGIC、VERSION、dbId這些，這作用也只是用來標識這是一個快照文件；Zookeeper的數據在內存中是以DataTree為數據結構存儲的，而快照就是每間隔一段時間Zookeeper就會把整個DataTree的數據序列化然後把它存儲在磁盤中，這就是Zookeeper的快照文件，快照文件是指定時間間隔對數據的備份，所以快照文件中數據通常都不是最新的，多久抓一個快照這也是可以配置的snapCount配置項用於配置處理幾個事務請求後生成一個快照文件；
與事務日誌文件一樣快照文件也是使用ZXID作為快照文件的後綴，在FileTxnSnapLog類中的save方法中生成文件並調用FileSnap類序列化DataTree數據並且寫入快照文件中；
1.2 快照文件目錄
快照文件可視化
與日誌文件一樣Zookeeper也為快照文件提供了可視化的工具org.apache.zookeeper.server包中的SnapshotFormatter類，接下來就使用該工具輸出該事務日誌文件，並解釋該數據；
SnapshotFormatter工具的使用方法： java -cp ../../zookeeper-3.4.6.jar:../../lib/slf4j-api-1.6.1.jar org.apache.zookeeper.server.SnapshotFormatter snapshot.17
快照分析
快照文件就很容易看得懂了，這就是Zookeeper整個節點數據的輸出；
第一行：ZNode Details (count=11):
ZNode節點數總共有11個
/cZxid = 0x00000000000000
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x00000000000000
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x00000000000016
cversion = 7
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x00000000000000
dataLength = 0
這麽一段數據是說，根節點/：
cZxid：創建節點時的ZXID
ctime：創建節點的時間
mZxid：節點最新一次更新發生時的zxid
mtime：最近一次節點更新的時間
pZxid：父節點的zxid
cversion：子節點更新次數
dataVersion：節點數據更新次數
aclVersion：節點acl更新次數
ephemeralOwner：如果節點為ephemeral節點則該值為sessionid，否則為0
dataLength：該節點數據的長度
快照文件的末尾：
Session Details (sid, timeout, ephemeralCount): 0x14f211584840000, 4000, 0 0x14f211399480001, 4000, 0
這裏是說當前抓取快照文件的時間Zookeeper中Session的詳情，有兩個session超時時間都是4000毫秒ephemeral節點為0；
ZooKeeper日誌與快照文件簡單分析