kafka原理詳解之各種offset和checkpoint

阿新 • • 發佈：2019-01-21

每一個分割槽都是一個順序的、不可變的訊息佇列，並且可以持續的新增。分割槽中的訊息都被分配了一個序列號，稱之為偏移量(offset),在每個分割槽中此偏移量都是唯一的。
一個分割槽在檔案系統裡儲存為一個資料夾。資料夾裡包含日誌檔案和索引檔案。其檔名是其包含的offset的最小的條目的offset。
這裡寫圖片描述

每個檔案是一個segment。
在broker的log儲存檔案下，除了儲存這各個topic的資料夾，還存在這幾個checkpoint檔案。分別是

recovery-point-offset-checkpoint 負責記錄topic已經被寫入磁碟的offset
replication-offset-checkpoint 負責記錄已經被複制到別的topic上的檔案

__consumer_offsets儲存各個topic的offset。但是，他的只有一份。

logStartOffset 日誌段集合中第一個日誌段（segment）的基礎位移，也就是這個日誌物件的基礎位移
LogEndOffset 下一條將要被加入到日誌的訊息的位移

FAQ

Resetting first dirty offset of __consumer_offsets
例如，重複報錯資訊如下，這顯然是清理執行緒在一直遇到麻煩。

[2018-06-01 13:46:27,156] WARN Resetting first dirty offset of __consumer_offsets-18 
 to log start offset 44 since the checkpointed offset 42 is invalid. (kafka.log.LogCleanerManager$)

報錯程式碼段為

    val lastCleanOffset: Option[Long] = lastClean.get(topicPartition)
    // If the log segments are abnormally truncated and hence the checkpointed offset is no longer valid;
    // reset to the log starting offset and log the error 

    val logStartOffset = log.logSegments.head.baseOffset
    val firstDirtyOffset = {
      val offset = lastCleanOffset.getOrElse(logStartOffset)
      if (offset < logStartOffset) {
        // don't bother with the warning if compact and delete are enabled.
        if (!isCompactAndDelete(log))
          warn(s"Resetting first dirty offset of ${log.name} to log start offset $logStartOffset since the checkpointed offset $offset is invalid.")
        logStartOffset
      } else {
        offset
      }
    }

我們可以看見，清理執行緒試圖獲取一個partition的最後清理的位移（lastCleanOffset），並同時獲取了該partition中現存的所有segment中最小的頭部offset（logStartOffset）。但是，卻發現lastCleanOffset比logStartOffset還要小。清理執行緒自然會反應，那些我沒有清理的資料跑哪裡去了呢？抱怨完後，其將firstDirtyOffset置為logStartOffset，準備下一次從這裡開始清理。報錯中令人迷惑的checkpointed offset是指lastCleanOffset。

val dirtyNonActiveSegments = log.logSegments(firstDirtyOffset, log.activeSegment.baseOffset)

kafka本來應該是在完成清理後將lastCleanOffset提高，但是問題在於，如果此時沒有可清理的segment，lastCleanOffset也就將保持不變。則執行緒下一次迴圈時仍然會遇到這個問題。
解決方案中最快捷的是清空kafka的data目錄。或者忽略這個問題，等待大量資料灌入。一旦產生可以清理的segment，這個問題就會解決。

kafka原理詳解之各種offset和checkpoint

FAQ

kafka原理詳解之各種offset和checkpoint

解決ajax跨域的方法原理詳解之Cors方法

Kafka 原理詳解

Android系統詳解之獲取圖片和視訊的縮圖

視訊直播技術詳解之推流和傳輸

Java程式設計師從笨鳥到菜鳥之（四十八）細談struts2（十）ognl概念和原理詳解

各種音視訊編解碼學習詳解之編解碼學習筆記（三）：Mpeg系列——Mpeg 1和Mpeg 2

十四、併發程式設計之ReentrantLock公平鎖和非公平鎖原理詳解

深入理解Oracle表(5)：三大表連線方式詳解之Hash Join的定義，原理，演算法，成本，模式和點陣圖

併發容器之ArrayBlockingQueue和LinkedBlockingQueue實現原理詳解

lvs和keeplived的工作原理詳解

編碼原理詳解（四）---之字形掃描

大數據學習之（Storm）-原理詳解！

[轉]Kafka 設計與原理詳解

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之二（作者簡介）

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之五（第3章之 EM算法）

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之六（第3章之 VI/VB算法）

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之七（第4章之梯度估算）

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之八（第4章之 AEVB和VAE）

機器學習中的概率模型和概率密度估計方法及VAE生成式模型詳解之九（第5章總結）

kafka原理詳解之各種offset和checkpoint

FAQ

相關推薦