本入門教程，涵蓋Kafka核心內容，通過例項和大量圖表，幫助學習者理解，任何問題歡迎留言。

目錄：

上一節介紹了協調器。協調器主要負責消費者和kafka叢集間的協調。那麼消費者消費時，如何定位訊息呢？訊息是如何儲存呢？本節將為你揭開答案。

3 日誌管理器

3.1 日誌的儲存

Kafka的訊息以日誌檔案的形式進行儲存。不同主題下不同分割槽的訊息是分開儲存的。同一個分割槽的不同副本也是以日誌的形式，分佈在不同的broker上儲存。

這樣看起來，日誌的儲存是以副本為單位的。在程式邏輯上，日誌確實是以副本為單位的，每個副本對應一個log物件。但實際在物理上，一個log又劃分為多個logSegment進行儲存。

舉個例子，建立一個topic名為test，擁有3個分割槽。為了簡化例子，我們設定只有1個broker，1個副本。那麼所有的分割槽副本都儲存在同一個broker上。

第二章中，我們在kafka的配置檔案中配置了log.dirs=/tmp/kafka-logs。此時在/tmp/kafka-logs下面會建立test-0，test-1，test-2三個資料夾，代表三個分割槽。命名規則為“topic名稱-分割槽編號”

我們看test-0這個資料夾，注意裡面的logSegment並不代表這個資料夾，logSegment代表邏輯上的一組檔案，這組檔案就是.log、.index、.timeindex這三個不同副檔名，但是同文件名的檔案。

1. .log儲存訊息
2. .index儲存訊息的索引
3. .timeIndex，時間索引檔案，通過時間戳做索引。

這三個檔案配合使用，用來儲存和消費時快速查詢訊息。

剛才說到同一個logSegment的三個檔案，檔名是一樣的。命名規則為.log檔案中第一條訊息的前一條訊息偏移量，也稱為基礎偏移量，左邊補0，補齊20位。比如說第一個LogSegement的日誌檔名為00000000000000000000.log，假如儲存了200條訊息後，達到了log.segment.bytes配置的閾值（預設1個G），那麼將會建立新的logSegment，檔名為00000000000000000200.log。以此類推。另外即使沒有達到log.segment.bytes的閾值，而是達到了log.roll.ms或者log.roll.hours設定的時間觸發閾值，同樣會觸發產生新的logSegment。

3.2 日誌定位

日誌定位也就是訊息定位，輸入一個訊息的offset，kafka如何定位到這條訊息呢？

日誌定位的過程如下:

1、根據offset定位logSegment。（kafka將基礎偏移量也就是logsegment的名稱作為key存在concurrentSkipListMap中）

2、根據logSegment的index檔案查詢到距離目標offset最近的被索引的offset的position x。

3、找到logSegment的.log檔案中的x位置，向下逐條查詢，找到目標offset的訊息。

結合下圖中例子，我再做詳細的講解：

這裡先說明一下.index檔案的儲存方式。.index檔案中儲存了訊息的索引，儲存內容是訊息的offset及物理位置position。並不是每條訊息都有自己的索引，kafka採用的是稀疏索引，說白了就是隔n條訊息存一條索引資料。這樣做比每一條訊息都建索引，查詢起來會慢，但是也極大的節省了儲存空間。此例中我們假設跨度為2，實際kafka中跨度並不是固定條數，而是取決於訊息累積位元組數大小。

例子中consumer要消費offset=15的訊息。我們假設目前可供消費的訊息已經儲存了三個logsegment，分別是00000000000000000，0000000000000000010，0000000000000000020。為了講解方便，下面提到名稱時，會把前面零去掉。

下面我們詳細講一下查詢過程。

1. kafka收到查詢offset=15的訊息請求後，通過二分查詢，從concurrentSkipListMap中找到對應的logsegment名稱，也就是10。
2. 從10.index中找到offset小於等於15的最大值，offset=14，它對應的position=340
3. 從10.log檔案中物理位置340，順序往下掃描檔案，找到offset=15的訊息內容。

可以看到通過稀疏索引，kafka既加快了訊息查詢的速度，也顧及了儲存的開銷。