kfaka使用教程
有補充
一、基本概念
介紹
Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。
這個獨特的設計是什麼樣的呢？
首先讓我們看幾個基本的訊息系統術語：
Kafka將訊息以topic為單位進行歸納。
將向Kafka topic釋出訊息的程式成為producers.
將預訂topics並消費訊息的程式成為consumer.
Kafka以叢集的方式執行，可以由一個或多個服務組成，每個服務叫做一個broker.
producers通過網路將訊息傳送到Kafka叢集，叢集向消費者提供訊息，如下圖所示：
客戶端和服務端通過TCP協議通訊。Kafka提供了Java客戶端，並且對多種語言都提供了支援。
Topics 和Logs
先來看一下Kafka提供的一個抽象概念:topic.
一個topic是對一組訊息的歸納。對每個topic，Kafka 對它的日誌進行了分割槽，如下圖所示：
每個分割槽都由一系列有序的、不可變的訊息組成，這些訊息被連續的追加到分割槽中。分割槽中的每個訊息都有一個連續的序列號叫做offset,用來在分割槽中唯一的標識這個訊息。
在一個可配置的時間段內，Kafka叢集保留所有釋出的訊息，不管這些訊息有沒有被消費。比如，如果訊息的儲存策略被設定為2天，那麼在一個訊息被髮布的兩天時間內，它都是可以被消費的。之後它將被丟棄以釋放空間。Kafka的效能是和資料量無關的常量級的，所以保留太多的資料並不是問題。
實際上每個consumer唯一需要維護的資料是訊息在日誌中的位置，也就是offset.這個offset有consumer來維護：一般情況下隨著consumer不斷的讀取訊息，這offset的值不斷增加，但其實consumer可以以任意的順序讀取訊息，比如它可以將offset設定成為一箇舊的值來重讀之前的訊息。
以上特點的結合，使Kafka consumers非常的輕量級：它們可以在不對叢集和其他consumer造成影響的情況下讀取訊息。你可以使用命令列來"tail"訊息而不會對其他正在消費訊息的consumer造成影響。
將日誌分割槽可以達到以下目的：首先這使得每個日誌的數量不會太大，可以在單個服務上儲存。另外每個分割槽可以單獨釋出和消費，為併發操作topic提供了一種可能。
分散式
每個分割槽在Kafka叢集的若干服務中都有副本，這樣這些持有副本的服務可以共同處理資料和請求，副本數量是可以配置的。副本使Kafka具備了容錯能力。
每個分割槽都由一個伺服器作為“leader”，零或若干伺服器作為“followers”,leader負責處理訊息的讀和寫，followers則去複製leader.如果leader down了，followers中的一臺則會自動成為leader。叢集中的每個服務都會同時扮演兩個角色：作為它所持有的一部分分割槽的leader，同時作為其他分割槽的followers，這樣叢集就會據有較好的負載均衡。
Producers
Producer將訊息釋出到它指定的topic中,並負責決定釋出到哪個分割槽。通常簡單的由負載均衡機制隨機選擇分割槽，但也可以通過特定的分割槽函式選擇分割槽。使用的更多的是第二種。
Consumers
釋出訊息通常有兩種模式：佇列模式（queuing）和釋出-訂閱模式(publish-subscribe)。佇列模式中，consumers可以同時從服務端讀取訊息，每個訊息只被其中一個consumer讀到；釋出-訂閱模式中訊息被廣播到所有的consumer中。Consumers可以加入一個consumer 組，共同競爭一個topic，topic中的訊息將被分發到組中的一個成員中。同一組中的consumer可以在不同的程式中，也可以在不同的機器上。如果所有的consumer都在一個組中，這就成為了傳統的佇列模式，在各consumer中實現負載均衡。如果所有的consumer都不在不同的組中，這就成為了釋出-訂閱模式，所有的訊息都被分發到所有的consumer中。更常見的是，每個topic都有若干數量的consumer組，每個組都是一個邏輯上的“訂閱者”，為了容錯和更好的穩定性，每個組由若干consumer組成。這其實就是一個釋出-訂閱模式，只不過訂閱者是個組而不是單個consumer。
由兩個機器組成的叢集擁有4個分割槽 (P0-P3) 2個consumer組. A組有兩個consumerB組有4個
相比傳統的訊息系統，Kafka可以很好的保證有序性。
傳統的佇列在伺服器上儲存有序的訊息，如果多個consumers同時從這個伺服器消費訊息，伺服器就會以訊息儲存的順序向consumer分發訊息。雖然伺服器按順序釋出訊息，但是訊息是被非同步的分發到各consumer上，所以當訊息到達時可能已經失去了原來的順序，這意味著併發消費將導致順序錯亂。為了避免故障，這樣的訊息系統通常使用“專用consumer”的概念，其實就是隻允許一個消費者消費訊息，當然這就意味著失去了併發性。
在這方面Kafka做的更好，通過分割槽的概念，Kafka可以在多個consumer組併發的情況下提供較好的有序性和負載均衡。將每個分割槽分只分發給一個consumer組，這樣一個分割槽就只被這個組的一個consumer消費，就可以順序的消費這個分割槽的訊息。因為有多個分割槽，依然可以在多個consumer組之間進行負載均衡。注意consumer組的數量不能多於分割槽的數量，也就是有多少分割槽就允許多少併發消費。
Kafka只能保證一個分割槽之內訊息的有序性，在不同的分割槽之間是不可以的，這已經可以滿足大部分應用的需求。如果需要topic中所有訊息的有序性，那就只能讓這個topic只有一個分割槽，當然也就只有一個consumer組消費它。
總結kfaka的組成：
> Kafka服務：
> Topic：主題，Kafka處理的訊息的不同分類。
> Broker：訊息代理，Kafka叢集中的一個kafka服務節點稱為一個broker，主要儲存訊息資料。存在硬碟中。每個topic都是有分割槽的。
> Partition：Topic物理上的分組，一個topic在broker中被分為1個或者多個partition，分割槽在建立topic的時候指定。
> Message：訊息，是通訊的基本單位，每個訊息都屬於一個partition
> Kafka服務相關
> Producer：訊息和資料的生產者，向Kafka的一個topic釋出訊息。> Consumer：訊息和資料的消費者，定於topic並處理其釋出的訊息。
> Zookeeper：協調kafka的正常執行。
二、環境搭建--KafKa的安裝配置
1: 下載Kafka
2: 上傳至Linux伺服器中：
3: 解壓到目錄：（比如：/usr/local）
4：進入kafka的解壓目錄
5：Kafka目錄介紹
/bin 操作kafka的可執行指令碼，還包含windows下指令碼
/config 配置檔案所在目錄（包含zookeeper的資原始檔zookeeper.properties，以及kafka的服務檔案server.properties）
/libs 依賴庫目錄
/logs 日誌資料目錄，目錄kafka把server端日誌分為5種類型，分為:server,request,state，log-cleaner，controller
6：配置kafka的環境變數：
進入系統配置環境變數的檔案
把下面程式碼配置進profile檔案中
export KAFKA_HOME=/usr/local/kafka_2.11-1.0.1
export PATH=$PATH:$KAFKA_HOME/bin |
按Esc 後按:wq 退出編輯
使環境變數生效：source /etc/profile
7：配置zookeeper
進入kafka的安裝目錄的config：cd /usr/local/kafka_2.11-1.0.1/configvim zookeeper.properties
8：配置server.properties
kafka最為重要三個配置依次為：broker.id、log.dir、zookeeper.connect********************************
修改kafka安裝目錄下的config目錄下server.properties配置檔案
broker.id（同一叢集下broker.id不能重複）
注：這裡配置broker的時候，每臺機器上的broker保證唯一，從0開始。如：在另外2臺機器上分別配置broker.id=1，broker.id=2
listeners=PLAINTEXT://ip:9092(ip為本機ip,9092埠可更改) 在配置檔案中該配置是被註釋的，解開註釋進行修改
log.dirs=/tmp/kafka-logs(kafka資料儲存路徑，多個路徑逗號分隔即可，如：data1,data2）
log.retention.hours=168（kafka資料過期清理時間,單位為/hour)
log.retention.bytes=1073741824(kafka資料量最大值，超出範圍自動清理，和log.retention.hours配合使用，注意其最大值設定不可超高磁碟大小）
zookeeper.connect:localhost:2181(zookeeper連線ip及port,多個以逗號分隔即可）
group.initial.rebalance.delay.ms=0（group Rebalance延時等待，合理設定可減少Rebalance頻率，0.11.x後新增功能）
----------------配置開始
8.1 開啟監聽埠
?| 123456789 | ############################# Socket Server Settings ############################## The address the socket server listens on. It will get the value returned from# java.net.InetAddress.getCanonicalHostName() if not configured.# FORMAT:# listeners = security_protocol://host_name:port# EXAMPLE:# listeners = PLAINTEXT://your.host.name:9092listeners=PLAINTEXT://:9092 # 取消這一行的註釋 |
8.2 修改 zookeeper.connect
?| 1234567891011 | ############################# Zookeeper ############################## Zookeeper connection string (see zookeeper docs for details).# This is a comma separated host:port pairs, each corresponding to a zk# server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".# You can also append an optional chroot string to the urls to specify the# root directory for all kafka znodes.zookeeper.connect=master:2181,slave1:2181,slave2:2181 # 修改成為我們搭建的zookeeper叢集# Timeout in ms for connecting to zookeeperzookeeper.connection.timeout.ms=6000 |
8.3 配置 broker 的ID
?1相關推薦kfaka使用教程有補充一、基本概念介紹Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。這個獨特的設計是什麼樣的呢？首先讓我們看幾個基本的訊息系統術語：Kafka將訊息以topic為單位進行歸納。將向Kafka topic釋出訊息的程式 主機屋----常用程序安裝鏈接數據庫教程alt nbsp targe src img ges get 安裝 log 常用程序安裝鏈接數據庫教程 主機屋----常用程序安裝鏈接數據庫教程 小程序粉墨登場 --奉上開發教程及書籍合集是不是 網易 機器 ive cab 好書推薦 教育 pro ini 微信小程序，簡稱CX，是一種不需要下載安裝即可使用的應用，它實現了應用“觸手可及”的夢想，用戶掃一掃或搜一下即可打開應用。 小程序處於內測階段。全面開放申請後，主體類型為個人、企業 有用PHP依賴管理工具Composer新手教程pro 介紹 簡單 優先 .com auto aries via 日誌記錄 PHP依賴管理工具Composer新手教程 Composer 是 PHP 的一個依賴管理工具。它同意你申明項目所依賴的代碼庫，它會在你的項目中為你安裝他們。 依賴管理 Compos AI實例教程0001-制作車輪&0002-卡通小人&0003-制作卡通小鴨子騰訊視頻 卡通 透明度 制作 1、制作車輪主要通過橢圓工具、矩形工具、透明度浮動面板、漸變浮動面板完成設計任務。騰訊視頻觀看地址：https://v.qq.com/x/page/k0396dxwznb.html2、制作卡通小人練習橢圓工具、櫃形工具、自由變換工具、鋼筆工具、內部繪圖、顏色浮動面 quick-cocos2d-x教程1:在window上創建第一個項目文件夾，並制作helloworld項目 編碼 rip pla 命令模式 utf-8 cape tps quick 說明：此教程是針對cocos2dx 2.0系列的，3.0的版本號，如今還沒有公布出來。 1）首先從github.com把這個項目下載到本地。然後裝到d盤的根文件夾，並設置文件夾路徑為d:\ 系統分析師教程知識點精講之標準化知識系統分析師 軟考系統分析師在2017上半年開考，整理了一些系統分析師教程知識點精講。 標準化知識 按照ISO/IEC9126，軟件質量模型包括6個質量特性和21個質量子特性: SW-CMM軟件采辦能力成熟度模型：關註的是軟件購買者的軟件能力成熟度； 而CMM關註的是軟件 GuozhongCrawler系列教程 （1） 三大PageDownloader特點 string null 瀏覽器兼容 ror down odi 系列 lan GuozhongCrawler QQ群 202568714 教程源代碼下載地址：http://pan.baidu.com/s/1pJBmerL GuozhongCrawl 烽火HG220G-U E00L2.03M2000光貓改橋接教程問題 上傳 需要 wax 時也 文件中 承載 -s disco 烽火HG220G-U E00L2.03M2000光貓改橋接教程 P.S. 此教程同樣適用於HG221G/HG260G-U/HG261G。（2016.12）隨著北京聯通從原有的ONU升級 我錄制的視頻教程c# rec 組合控件 接口開發 tail api接口 認證 java 菜單 編寫安全的WebApi接口 基於ABP添加一個簡單的功能 nopCommerce的開源項目二次開發 nopCommerce開源項目的安裝及使用 ASP.NET+MVC的認證授權，緩存，本地化等 【教程】發布NAServer到ArcGIS Server 10.4上[超詳細]size lose 類型 -1 var fort item 集中 點擊 前陣子對ArcGIS API For JavaScript的網絡分析有興趣，但是不知道其數據是如何獲取的。 查閱API知道，AJS的網絡分析只有三個功能：最短路徑（RouteTask）、最近設施點（Cl linux之SQL語句簡明教程---主鍵,外來鍵兩個 drop 表格 教程 ref double last http 舉例 主鍵 (Primary Key) 中的每一筆資料都是表格中的唯一值。換言之。它是用來獨一無二地確認一個表格中的每一行資料。主鍵能夠是原本資料內的一個欄位。或是一個人造欄位 (與原本資料沒有關系的 mysql 5.7.3.0-m13安裝教程com 處理 技術分享 mysql 5.7 bench aid target 驗證 htm 安裝mysql百度經驗地址：（默認安裝，除了選擇不更新和選擇保存路徑，其它基本是下一步下一步） http://jingyan.baidu.com/article/7e4409 Android Studio debug調試教程png undle out i++ ted cti oncreate protect edi 昨天公司領導批評我不會在Android studio上debug 所以 今天利用休息的時間研究了一下 再此寫一篇實用的文章希望大家喜歡 一、自己寫的代碼例子 prote activemq rabbitmq kfaka的異同點增加 fse 日誌系統 增加節點 配置 可用性 分布式 作者 應該 01）kfaka與傳統意義上的mq的區別 更快！單機上萬TPS 傳統的MQ，消息被消化掉後會被mq刪除，而kafka中消息被消化後不會被刪除，而是到配置的expire時間後，才刪除 傳統的MQ，消息的O debug教程觀察 是你 debug 取消 repr order 史記 lan 功能 有人說Android 的調試是最坑的，那我只能說是你不會用而已，我可以說Android Studio的調試是我見過最棒的。 好了開始寫一個簡單的調試程序，我們先來一個for循環 ? SQL Server 2008 R2 超詳細安裝圖文教程jpg ces ads 默認 點擊 引擎 nal 功能 ear 數據庫視頻將近看完了，但是SQL Server 一直都沒有親自動手安裝過，所以一直都不會安裝，今天自己動手安裝了兩次，總算是安裝成功了，以下是自己安裝的全過程： 運行程序後，點擊安裝 activiti web流程設計器 工作流的 整合視頻教程 SSM和獨立部署activiti 工作流 web流程設計器 ssm activiti工作流 本視頻為activiti工作流的web流程設計器整合視頻教程整合Acitiviti在線流程設計器(Activiti-Modeler 5.21.0 官方流程設計器）本視頻共講了兩種整合方式1. 流程設計器和其它工作流 漢化入門教程（絕對適合新手） By:1595901624刮刮樂 常見 界面 not 鏡像 class pac hot 中文 高手勿噴，此漢化教程僅適合新手，高手請繞道 有人說圖片太小，我不太會弄，word文檔已上傳 本文所用到的所有軟件都會上傳到百度雲盤 所謂漢化就是，將非中文的軟件國語化，我們我們常見的需要漢化軟件大 Jenkins構建完成後通過SVN Publisher Plugin上傳文件到指定的SVN（教程收集）ons stack play pac pla min ack .org isp SVN Publisher Plugin：https://wiki.jenkins-ci.org/display/JENKINS/SVN+Publisher 構建完成後的文件，比如Maven打 |