這裡通過 VMware ，我們安裝了三臺虛擬機器，用來搭建 kafka叢集，虛擬機器網路地址如下： hostname                      ipaddress             

AI 前線導讀： 伯克利 RISE 實驗室又有新動作，最近開源了一個多資料流實時分散式分析系統 Confluo。它可以作為網路監控和診斷框架，也可以作為時序資料庫和釋出訂閱訊息系統。作為時序資料庫

在kafka中，正常情況下，同一個group.id下的不同消費者不會消費同樣的partition，也即某個partition在任何時刻都只能被具有相同group.id的consumer中的一個消費。 也正是這個

在前面幾篇部落格我們介紹過一種訊息中介軟體——RabbitMQ，本篇部落格我們介紹另外一個訊息中介軟體——Kafka，Kafka是由LinkedIn開發的,使用Scala編寫，是一種分散式，基於釋出/訂閱的訊

一. 概述 在大資料的靜態資料處理中，目前普遍採用的是用 Spark + Hdfs （Hive / Hbase） 的技術架構來對資料進行處理。 但有時候有其他的需求，需要從其他不同資料來源不間斷得采集資

背景 在資料倉庫建模中，未經任何加工處理的原始業務層資料，我們稱之為ODS(Operational Data Store)資料。在網際網路企業中，常見的ODS資料有業務日誌資料（Log）和業務DB資料（DB

[TOC] 1. 背景和現象 1.1 kafka版本和部署狀態 kafka版本 server和client都是0.11.0 部署狀態 kafka多個節點（具體

Twitter 的實時性特點為 Twitter 的工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速釋出突發新聞，向用戶提供相關廣告，並解決很多其他實時性問題。Twitter 的 Pub/Sub 系統為 Twi

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

0x00 概述 關於如何搭建ELK部分，請參考這篇文章 ，https://www.cnblogs.com/JetpropelledSnake/p/9893566.html。 該篇使用者為非r

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

在開發環境中，記錄日誌這件事情常常被忽視，因為我們有強大的 IDE ，可以除錯，可以斷點，問題出現後一般都能很快解決。但在生產環境，異常一旦發生，如果不能重現，又沒有提前做好日誌記錄，就會非常被動，問題的定位

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地