1. 程式人生 > >kafka broker服務端優化引數詳解

kafka broker服務端優化引數詳解

配置優化都是修改server.properties檔案中引數值

1.網路和io操作執行緒配置優化

broker處理訊息的最大執行緒數

num.network.threads=xxx

broker處理磁碟IO的執行緒數

num.io.threads=xxx

建議配置:

一般num.network.threads主要處理網路io,讀寫緩衝區資料,基本沒有io等待,配置執行緒數量為cpu核數加1.

num.io.threads主要進行磁碟io操作,高峰期可能有些io等待,因此配置需要大些。配置執行緒數量為cpu核數2倍,最大不超過3倍.

2.log資料檔案重新整理策略

為了大幅度提高producer寫入吞吐量,需要定期批量寫檔案。

建議配置:

# 每當producer寫入10000條訊息時,刷資料到磁碟

log.flush.interval.messages=10000

# 每間隔1秒鐘時間,刷資料到磁碟

log.flush.interval.ms=1000

3.日誌保留策略配置

當kafka server的被寫入海量訊息後,會生成很多資料檔案,且佔用大量磁碟空間,如果不及時清理,可能磁碟空間不夠用,kafka預設是保留7天。

建議配置:

# 保留三天,也可以更短 

log.retention.hours=72

# 段檔案配置1GB,有利於快速回收磁碟空間,重啟kafka載入也會加快(如果檔案過小,則檔案數量比較多,

# kafka啟動時是單執行緒掃描目錄(log.dir)下所有資料檔案)

log.segment.bytes=1073741824

4.配置jmx服務

kafka server中預設是不啟動jmx埠的,需要使用者自己配置

[[email protected] kafka_2.10-0.8.1]$ vim bin/kafka-run-class.sh

#最前面新增一行

JMX_PORT=8060

相關推薦

kafka broker服務優化引數

配置優化都是修改server.properties檔案中引數值 1.網路和io操作執行緒配置優化 # broker處理訊息的最大執行緒數 num.network.threads=xxx # broker處理磁碟IO的執行緒數 num.io.threads=xx

ssh服務口轉發

linux 端口轉發 端口轉發的概念和應用 什麽是端口轉發呢,我們知道,SSH 會自動加密和解密所有 SSH 客戶端與服務端之間的網絡數據。但是,SSH 還同時提供了一個非常有用的功能,這就是端口轉發。它能夠將其他 TCP 端口的網絡數據通過 SSH 鏈接來轉發,並且自動提供了相應的加

Netty4.x 原始碼實戰系列(二):服務bind流程

在上一篇《ServerBootstrap 與 Bootstrap 初探》中,我們已經初步的瞭解了ServerBootstrap是netty進行服務端開發的引導類。 且在上一篇的服務端示例中,我們也看到了,在使用netty進行網路程式設計時,我們是通過bind方法

HttpServer服務測試模組-[5-1]

#include <muduo/net/http/HttpServer.h> #include <muduo/base/Logging.h> #include <muduo/net/http/HttpContext.h> #include <muduo/net/htt

微信支付——呼叫微信客戶支付之【服務】開發

最近準備上網頁的微信支付,大家可以參考後續教程: 2015-09-12 更新: 因微信支付已經升級到V3版本,請大家參考官網的幫助文件。 之前一篇提到微信支付的開發過程,寫得有點亂,現在重新整理一下。 好了,說說到底該怎樣一步一步分享處理。 先把服務端d

Rsync 服務部署與引數

  Rsync 簡介 rsync 是一款開源的、快速的、多功能的、可實現全量及增量的本地或遠端資料同步備份的優秀工具。Rsync軟體適用於unix/linux/windows等多種作業系統平臺。 傳統的 scp 和 cp 工具拷貝每次均為完整拷貝,而rsync除了可以完整拷貝外,還具備增量拷貝功能。

iOS應用內支付(IAP)服務校驗

imageview sof 客戶端 標識 知識庫 ndb json replace undle IAP流程 IAP流程分為兩種: 一種是直接使用Apple的服務器進行購買和驗證, 另一種就是自己假設服務器進行驗證。由於國內網絡連接Apple服務器驗證非常慢,而且也為了防止黑

小程序調用後接口服務 配置文件

簡單 開發 符號 交流 con 階段 什麽 效率 頁面 前言:為了開發階段的效率更高,方便項目接口管理,在做web項目時,我們需要把後端提供的接口地址進行配置,這樣我們自己在調用時,要方便得多,利己利人。在配置小程序接口地址時,和web的配置大同小異,下面總結幾點配置小程序

部署FTP服務、FTP服務主配置檔案引數

FTP服務 概述: FTP(File Transfer Protocol),是檔案傳輸協議的簡稱。用於Internet上的控制檔案的雙向傳輸。同時, 它也是一個應用程式(Application),使用者可以通過它把自己的PC機與世界各地所有執行FTP協議的伺服器相連, 訪問伺服器上的

mysql 優化my.cnf引數

最近在業務中遇到mysql二進位制日誌相關問題,這裡整理一份線上my.cnf引數配置: [mysqld_multi] mysqld = /usr/local/mysql/bin/mysqld_safe mysqladmin = /usr/local/mysql/bin/mysqladmin

Kafka主要引數

系統引數 #唯一標識在叢集中的ID,要求是正數。 broker.id=0 #服務埠,預設9092 port=9092 #監聽地址 host.name=debugo01 # 處理網路請求的最大執行緒數 num.network.threads=2 # 處理磁碟I/O的執行緒數

Kafka主要引數server.properties

  一、相關引數配置 ############################ System ############################# #唯一標識在叢集中的ID,要求是正數。 broker.id=0 #服務埠,預設9092 port=9092

linux核心優化,核心引數

轉自百度文庫,最後有一部分修改: 一、前言 本文件針對OOP8生產環境,具體優化策略需要根據實際情況進行調整;本文件將在以下幾個方面來闡述如何針對RedHat Enterprise Linux進行效能優化。 1)       Linux Proc檔案系統,通過對Proc檔案

以太坊客戶Geth命令用法-引數

Geth是在以太坊智慧合約開發中最常用的工具(必備開發工具),一個多用途的命令列工具。 熟悉Geth可以讓我們有更好的效率,大家可收藏起來作為Geth命令用法手冊。 本文主要是對geth help的翻譯,基於最新的geth 1.7.3-stable版本。 如

KAFKA 引數(一)

KAFKA採用zookeeper儲存叢集的元資料和消費者資訊,所以安裝kafka之前必須現有zookeeperzookeeper採用一致性協議,所以部署的叢集最好是奇數個,少數服從多數,假設3個節點中有一個失效並不影響zookeeper處理外部請求,否則失效。以上主要是kaf

Kafka概念和關於springboot配置Kafka引數

1.基本概念 *Producer:            訊息生產者,往Topic釋出訊息 *Consumer:            訊息消費者,往Topic取訊

Oracle 11G Client 客戶配製客戶監聽和網路服務名(圖文

1。安裝Oracle 11G Client後可以在開始選單中找到 選擇NETCA->本地網路服務名配置 選擇新增本地網服務名配置 這裡的服務名:指的是也就是資料庫名 在網路中架設C/S 客戶端選擇TCP型別 輸入伺服器的IP地址,選用預設埠 測試下是否連通

MySQL配置檔案mysql.ini引數、MySQL效能優化

my.ini(Linux系統下是my.cnf),當mysql伺服器啟動時它會讀取這個檔案,設定相關的執行環境引數。 my.ini分為兩塊:Client Section和Server Section。 Client Section用來配置MySQL客戶端引數。 要檢視配置引

Kafka配置引數

producer組將會彙總任何在請求與傳送之間到達的訊息記錄一個單獨批量的請求。通常來說,這隻有在記錄產生速度大於傳送速度的時候才能發生。然而,在某些條件下,客戶端將希望降低請求的數量,甚至降低到中等負載一下。這項設定將通過增加小的延遲來完成--即,不是立即傳送一條記錄,producer將會等待給定的

系統優化-----sysctl.conf檔案核心設定引數

sysctl.conf工作原理 sysctl命令被用於在核心執行時動態地修改核心的執行引數,可用的核心引數在目錄/proc/sys中。它包含一些TCP/IP堆疊和虛擬記憶體系統的高階選項, 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設定超過五百個