Kafka是什麼

釋出/訂閱訊息中介軟體
也被稱為分散式流平臺

Kafka的誕生

最初是為了解決LinkedIn資料通道問題，最後捐獻給了Apache，是Apache的頂級專案。

Kafka適合的場景

• 使用者行為跟蹤，可以將網頁/使用者操作等資訊傳送到kafka中.並實時監控,或者離線統計分析等
• 訊息系統，最常見一種場景。應用程式（生產者）產生訊息，傳送到Kafka，另外一個應用程式消費Kafka的訊息。
• 應用系統監控，應用程式定期將系統各指標傳送到Kafka，消費者消費進行預測、分析等。
• 日誌提交服務，應用可以將操作日誌”批量”、”非同步”的傳送到kafka叢集中,而不是儲存在本地或者DB中;kafka可以批量提交訊息/壓縮訊息等
• 流處理，目前Kafak的新定位是流處理平臺，實時處理流資料。

Kafka的基本構件

• topic

  主題，Kafka根據topic對訊息進行歸類，釋出到Kafka叢集的每條訊息都需要指定一個topic

• partition

  分割槽，一個topic可以分為多個partition，每個partition內部資訊是有序的

• producer

  訊息生產者，向broker傳送訊息的客戶端

• comsumer

  訊息消費者，從broker讀取訊息的客戶端

• broker

  代理伺服器，Kafka的訊息處理節點。一個Kafka節點就是一個broker，一個或者多個broker可以組成一個Kafka叢集

Kafka的特點

• 支援多生產者

  Kafka支援多個生產者使用多個topic或者一個topic同時傳送訊息到broker，無需為每個生產者提供一個broker。

• 支援多消費者

  Kafka支援多個消費者訂閱單個topic的訊息，消費者按組分類，同一個消費組的消費者，只有一個comsumer可以消費訊息，不同的消費組預設輪詢消費訊息。

• 訊息支援持久化

  訊息按照我們的配置選項儲存在磁碟，意味著不用擔心訊息丟失。

• 可擴充套件

  支援叢集擴充套件，當處理的資料增長比較快時，可以擴充套件broker節點，削峰填谷，不影響系統的整體效能。另外Kafka可以容忍單個或者一部分broker宕機，也不會對系統造成影響。

• 高效能

  在高負載下，訊息的延遲也很低，在秒級之內。