1. 程式人生 > >kafka選擇分割槽的原則:

kafka選擇分割槽的原則:

選擇分割槽的原則:

  1.主題需要多大的吞吐量,是希望每秒寫入100kb,還是1GB

  2.從單個分割槽讀取資料的最大吞吐量,資料寫入資料庫的速度不會超過每秒50M,所以從一個分割槽讀資料的速度也不要超過50M

  3.可以估算生產者向單個分割槽寫入資料的吞吐量,生產者的速度一般比消費者快,最高為生產者多估算一些量。

  4.每個broker包含的分割槽個數,可用磁碟空間和網路頻寬

  5.若訊息按照不同的鍵來寫入分割槽,那麼為已有的主題新增分割槽就很困難

  6.單個broker對分割槽個數是有限制,因為分割槽越多,佔用的記憶體越多,完成首領的選舉需要更長的時間。

使用主題吞吐量除以消費者吞吐量算出分割槽個數。也就是每秒從主題上寫入和讀取1GB的資料,並且每個消費者每秒鐘可以處理50MB資料。那麼至少需要20個分割槽,這樣20個消費者同時讀取這些分割槽,從而達到每秒1GB的資料。

如果不知道以上資訊,最好把分割槽大小限制再25GB以內可以得到比較理想得效果。