kafka參數配置詳解
阿新 • • 發佈：2017-05-08
kafka 參數
| broker.id | broker的唯一標識符，如果不配置則自動生成，建議配置且一定要保證集群中必須唯一，默認-1 |
| log.dir | 日誌數據存放的目錄，默認/tmp/kafka-logs |
| log.dirs | 日誌數據存放的目錄，如果沒有配置則使用log.dir，建議此項配置。 |
| zookeeper.connect | Zookeeper主機地址，如果zookeeper是集群則以逗號隔開，如：172.6.14.61:2181,172.6.14.62:2181,172.6.14.63:2181 |
| listeners | 監聽列表，多個以逗號隔開，如果監聽器名稱不是一個安全的協議， listener.security.protocol.map也必須設置。主機名稱設置0.0.0.0綁定所有的接口，主機名稱為空則綁定默認的接口。如：PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093 |
| advertised.listeners | 給客戶端用的發布至zookeeper的監聽，如果和上面的listeners不同則以此為準，在IaaS環境，此配置項可能和 broker綁定的接口主機名稱不同，如果此配置項沒有配置則以上面的listeners為準。 |
| auto.create.topics.enable | 是否自動創建topic，默認true |
| auto.leader.rebalance.enable | 是否自動leader平衡，一個後臺線程定時檢查並在必要時觸發leader平衡。默認true |
| background.threads | 用於各種後臺處理任務的線程的數量，默認10 |
| compression.type | 為指定topic指定最終的壓縮類型，配置接受標準的壓縮算法（gzip、snappy、lz4），默認producer |
| delete.topic.enable | 是否可以刪除topic，如果關閉此配置項則通過管理工具刪除topic則不起效。默認false |
| leader.imbalance.check.interval.seconds | 控制器觸發分區再平衡檢測的頻率，默認300 |
| leader.imbalance.per.broker.percentage | 每個broker允許的不平衡leader的比率，不平衡leader的比率大於此值控制器就會觸發leader平衡操作。默認10 |
| log.flush.interval.messages | 分區日誌刷至磁盤的大小閾值，單位字節。默認為long類型的最大值，謹慎設置。 |
| log.flush.interval.ms | 消息刷至磁盤的最大時間，單位毫秒。如果不設置此項則使用log.flush.scheduler.interval.ms |
| log.flush.offset.checkpoint.interval.ms | 用於更新日誌恢復點持久記錄的頻率，默認60000 |
| log.flush.scheduler.interval.ms | 檢測日誌是否需要刷至磁盤的頻率，單位毫秒，默認long類型的最大值 |
| log.retention.bytes | 日誌被刪除前的最大大小，即日誌保留的最大大小，默認-1 |
| log.retention.hours | 日誌文件刪除之前保留的時間（單位小時），默認168 |
| log.retention.minutes | 日誌文件刪除之前保留的時間（單位分鐘），如果沒有設置則使用log.retention.hours |
| log.retention.ms | 日誌文件刪除之前保留的時間（單位毫秒），如果沒有設置則使用log.retention.minutes |
| log.roll.hours | 在新日誌段展開之前的最大時間（單位小時） |
| log.roll.ms | 在新日誌段展開之前的最大時間（單位毫秒） |
| log.segment.bytes | 單個日誌文件的大小，默認1073741824 |
| log.segment.delete.delay.ms | 日誌文件在刪除之前保留的時間，默認60000 |
| message.max.bytes | 服務器接受單個消息的最大大小，默認1000012 |
| min.insync.replicas | 當生產者acks的值設置為all或者-1的時候，此配置項為消息副本的最小成功數量，如果成功數量沒有達到此值則生產者就會拋出異常，默認1。 |
| num.io.threads | 做I/O任務線程的數量 |
| num.network.threads | 服務器處理網絡請求的線程的數量 |
| num.recovery.threads.per.data.dir | 在啟動時恢復日誌和關閉時刷盤日誌時每個數據目錄的線程的數量，默認1 |
| num.replica.fetchers | 從源頭broker抽取消息用於復制的線程的數量。增大此值可以提高從broker的I/O平衡度。默認為1 |
| offset.metadata.max.bytes | 和提交的偏移量有關的元數據項的最大值，默認4096 |
| offsets.commit.required.acks | 消息提交並被接受前必須的acks，通常默認-1，不要修改此值。 |
| offsets.commit.timeout.ms | 偏移量會被延遲直到所有的復制都接受此偏移量或者超時此值，和生產者請求超時相似，默認5000 |
| offsets.load.buffer.size | 批量加載偏移量到緩沖的批量大小，默認5242880 |
| offsets.retention.check.interval.ms | 檢測偏移量的頻率，默認600000 |
| offsets.retention.minutes | 話題偏移量日誌保留窗口時間，單位分鐘，默認1440 |
| offsets.topic.compression.codec | 偏移量話題壓縮解碼器，壓縮可用於自動提交，默認0 |
| offsets.topic.num.partitions | 偏移提交主題的分區數量（部署後不應該再修改），默認50 |
| offsets.topic.replication.factor | 偏移量話題的復制因子（設置更高保證可用），為了保證有效的復制，偏移話題的復制因子是可配置的，在偏移話題的第一次請求的時候可用的broker的數量至少為復制因子的大小， 否則要麽話題創建失敗，要麽復制因子取可用broker的數量和配置復制因子的最小值。默認3 |
本文出自 “埃文” 博客，請務必保留此出處http://wenshengzhu.blog.51cto.com/5151285/1922975
kafka參數配置詳解