1. 程式人生 > >Apache Kafka-核心元件和流程-副本管理器-設計-原理(入門教程輕鬆學)

Apache Kafka-核心元件和流程-副本管理器-設計-原理(入門教程輕鬆學)

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。

目錄:

本章簡單介紹了副本管理器,副本管理器負責分割槽及其副本的管理。副本管理器具體的工作流程可以參考牟大恩所著的《Kafka入門與實踐》。

副本管理器

副本機制使得kafka整個叢集中,只要有一個代理存活,就可以保證叢集正常執行。這大大提高了Kafka的可靠性和穩定性。

Kafka中代理的存活,需要滿足以下兩個條件:

  1. 存活的節點要維持和zookeeper的session連線,通過zookeeper的心跳機制實現
  2. Follower副本要與leader副本保持同步,不能落後太多。

滿足以上條件的節點在ISR中,一旦宕機,或者中斷時間太長,Leader就會把同步副本從ISR中踢出。

所有節點中,leader節點負責接收客戶端的讀寫操作,follower節點從leader複製資料。

副本管理器負責對副本管理。由於副本是分割槽的副本,所以對副本的管理體現在對分割槽的管理。

在第三章已經對分割槽和副本有了詳細的講解,這裡再介紹兩個重要的概念,LEO和HW。

  1. LEO是Log End Offset縮寫。表示每個分割槽副本的最後一條訊息的位置,也就是說每個副本都有LEO。
  2. HW是Hight Watermark縮寫,他是一個分割槽所有副本中,最小的那個LEO。

看下圖:

分割槽test-0有三個副本,每個副本的LEO就是自己最後一條訊息的offset。可以看到最小的LEO是Replica2的,等於3,也就是說HW=3。這代表offset=4的訊息還沒有被所有副本複製,是無法被消費的。而offset<=3的資料已經被所有副本複製,是可以被消費的。

副本管理器所承擔的職責如下:

  1. 副本過期檢查
  2. 追加訊息
  3. 拉取訊息
  4. 副本同步過程
  5. 副本角色轉換
  6. 關閉副本

再此就不再一一講解了,詳情可以參考牟大恩所著的《Kafka入門與實踐》。

相關推薦

Apache Kafka-核心元件流程-副本管理-設計-原理入門教程輕鬆

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 本章簡單介紹了副本管理器,副本管理器負責分割槽及其副本的管理。副本管理器具體的工作流程可以參考牟大恩所著的《Kafka入門與實

Apache Kafka 核心元件流程-日誌管理-設計-原理入門教程輕鬆

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 上一節介紹了協調器。協調器主要負責消費者和kafka叢集間的協調。那麼消費者消費時,如何定位訊息呢?訊息是如何儲存呢?本節將為

Apache Kafka核心元件流程-協調消費者組協調-設計-原理入門教程輕鬆

作者:稀有氣體 來源:CSDN 原文:https://blog.csdn.net/liyiming2017/article/details/82805479 版權宣告:本文為博主原創文章,轉載請附上博文連結! 本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習

Apache Kafka 核心元件流程-控制器-設計-原理入門教程輕鬆

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 通過前幾章的學習,我們已經從巨集觀層面瞭解了kafka的設計理念。包括kafka叢集的組成、訊息的主題、主題的分割槽、分割槽的

Apache Kafka入門教程輕鬆-第四章 Kafka核心元件流程-設計-原理副本管理

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 本章簡單介紹了副本管理器,副本管理器負責分割槽及其副本的管理。副本管理器具體的工作流程可以參考牟大恩所著的《Kafka入門與實踐》。 副本管理器 副本機制使得kafka

Apache Kafka入門教程輕鬆-第四章 Kafka核心元件流程-設計-原理協調消費者組協調

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 上一節介紹了kafka工作的核心元件--控制器。本節將介紹消費者密切相關的元件--協調器。它負責消費者的出入組工作。大家可以回想一下kafka核心概念中關於吃蘋果的場景,如

Apache Kafka入門教程輕鬆-第四章 Kafka核心元件流程-設計-原理控制器

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 通過前幾章的學習,我們已經從巨集觀層面瞭解了kafka的設計理念。包括kafka叢集的組成、訊息的主題、主題的分割槽、分割槽的副本等內容。接下來我們會繼續深入,瞭解kafk

Apache Kafka入門教程輕鬆- Kafka核心概念

本入門教程,涵蓋Kafka核心內容,通過例項和大量圖表,幫助學習者理解,任何問題歡迎留言。 目錄: 本章是學習kafka的核心章節,涵蓋內容比較多,在理解上有一定的難度,需要反覆閱讀理解,才能參透Kafka的設計思想。 1、Kafka叢集結構 在第一章我給出過一個訊息

03 Java圖形化界面設計——布局管理之FlowLayout流式布局

顯示效果 窗口 ext 整數 管理 平移 sflow awt 程序代碼 前文講解了JFrame、JPanel,其中已經涉及到了空布局的使用。Java雖然可以以像素為單位對組件進行精確的定位,但是其在不同的系統中將會有一定的顯示差異,使得顯示效果不盡相同,為

python3:深刻理解__iter____next__ 迭代原理用自定義迭代方法進行講解

1.iter 的用法 咱都知道, list ,tuple,dict 都是可迭代物件,如果想讓他們轉化成迭代器. 我們可以這麼做,呼叫 inter()方法,它會返回一個迭代器. 例如: from collections import Iterable,Iterator a=[1,

初始MyBatis框架四大核心元件配置檔案

一、概述 MyBatis 本是apache的一個開源專案iBatis, 2010年這個專案由apache software foundation 遷移到了google code,並且改名為MyBatis 。2013年11月遷移到Github。 MyBatis 是一款優秀的持久層框

Kafka架構、Kafka核心元件Kafka工作原理Kafka應用場景

什麼是訊息系統?          訊息系統負責將資料從一個應用程式傳輸到另一個應用程式,因此應用程式可以專注於資料,但不擔心如何共享它。 分散式訊息傳遞基於可靠訊息佇列的概念。 訊息在客戶端應用程式和訊息傳遞系統之間非同步排隊。 有兩種型別的訊

Facebook開源Linux核心元件工具:BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd

內容摘要: 作者:Tejun Heo(Facebook的軟體工程師)和Thomas Connally。 Facebook工程文化的一個組成部分始終是我們的開發團隊致力於開發開源解決方案,以解決實際的生產問題,並應對現代大規模雲端計算的重大挑戰。今天,我們宣佈了一套解決重要

分散式訊息中介軟體——Kafka核心元件詳解

一、Kafka釋出訂閱訊息系統基礎      Kafka 是分散式釋出-訂閱訊息系統。它最初由 LinkedIn 公司開發,使用 Scala語言編寫,之後成為 Apache 頂級專案框架。Kafka

Spring Security詳解認證之核心元件服務

一直以來都特別喜歡Spring的全家桶系列,也一直想寫關於Spring Security的系列文章,接觸security從最初的Guide開始入手,到專案中的原始碼閱讀,最近又沉下心來看了幾遍文件,打算嘗試一下,把我的理解都記錄下來,寫一個較為完整的系列文章。

初識MyBatis框架四大核心元件配置檔案

一、概述 MyBatis 本是apache的一個開源專案iBatis, 2010年這個專案由apache software foundation 遷移到了google code,並且改名為MyBatis 。2013年11月遷移到Github。 MyBatis 是

MyBatis的核心元件生命週期

1 核心元件:(1)、SqlSessionFactoryBuilder(構造器):它會根據配置或者程式碼來生成SqlSessionFactory,採用的是分佈構建的Builder模式。(2)、SqlSe

用EOM眼光評判“做全國最最好的標準許可權元件通用許可權管理軟體”之一

光靠理論上闡述EOM顯然不太容易理解,我想找個現實的例子,加以進一步說明。最近我在網上看到了《我要做全國最最好的標準許可權元件和通用許可權管理軟體》系列隨筆。作者通過自己的親身經歷,提出要做全國最最好的標準許可權元件和通用許可權管理軟體。當然“全國”,“最最好”、“標準組件”

AWT布局管理

log 都沒有 tro 原則 ++ 開發 out pan 背景顏色 AWT(Abstract Window Toolkit)抽象窗口開發包 component:可以顯示出來的與用戶進行交互的圖形元素 container:容納其他component元素的容器;cont

RAID邏輯卷管理LVM

RAID和邏輯卷管理器(LVM)什麽是RAID RAID:RedundantArrays of Inexpensive(Independent)Disks 廉價的獨立磁盤 1988年由加利福尼亞大學伯克利分校(University of California-Berkeley)“A Case fo