零、背景 最近在做一個kafka相關專案時，遇到一個悖論問題：業務即想要資料有序，又想要高效能，還想要高可靠。 這個初步看顯然不可能。 有序就要一個一個發，而且只能上個包正常返回時才能發下一個。

這裡通過 VMware ，我們安裝了三臺虛擬機器，用來搭建 kafka叢集，虛擬機器網路地址如下： hostname                      ipaddress             

AI 前線導讀： 伯克利 RISE 實驗室又有新動作，最近開源了一個多資料流實時分散式分析系統 Confluo。它可以作為網路監控和診斷框架，也可以作為時序資料庫和釋出訂閱訊息系統。作為時序資料庫

一. 部署讀寫分離的契機 目前公司整體專案穩定執行在CDH5.6版本上，與其搭配的Hbase1.0.0無法正確執行Kylin，原因是Kylin只滿足Hbase1.1.x+版本。解決方案如下 1. 升級整

許可權管理已經不知不覺深入到了我們生活的每一個角落，例如地鐵進站的閘機，高速公路上的過路費，停車場的槓桿等等等等。 作為一名開發人員，許可權二字對我們的映像更加深刻，無論任何系統，都多多少少與許可權管理會沾

在kafka中，正常情況下，同一個group.id下的不同消費者不會消費同樣的partition，也即某個partition在任何時刻都只能被具有相同group.id的consumer中的一個消費。 也正是這個

在前面幾篇部落格我們介紹過一種訊息中介軟體——RabbitMQ，本篇部落格我們介紹另外一個訊息中介軟體——Kafka，Kafka是由LinkedIn開發的,使用Scala編寫，是一種分散式，基於釋出/訂閱的訊

一. 概述 在大資料的靜態資料處理中，目前普遍採用的是用 Spark + Hdfs （Hive / Hbase） 的技術架構來對資料進行處理。 但有時候有其他的需求，需要從其他不同資料來源不間斷得采集資

背景 在資料倉庫建模中，未經任何加工處理的原始業務層資料，我們稱之為ODS(Operational Data Store)資料。在網際網路企業中，常見的ODS資料有業務日誌資料（Log）和業務DB資料（DB

[TOC] 1. 背景和現象 1.1 kafka版本和部署狀態 kafka版本 server和client都是0.11.0 部署狀態 kafka多個節點（具體

Twitter 的實時性特點為 Twitter 的工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速釋出突發新聞，向用戶提供相關廣告，並解決很多其他實時性問題。Twitter 的 Pub/Sub 系統為 Twi

前言 開心一刻 已經報廢了一年多的電腦，今天特麼突然開機了，嚇老子一跳，只見電腦管家緩緩地出來了，本次開機一共用時一年零六個月，打敗了全國0%的電腦，電腦管家已經對您的電腦失去信心，然後它把自己解除安裝

專案裡一直用的是 spring-security ，不得不說，spring-security 真是東西太多了，學習難度太大(可能我比較菜)，這篇部落格來總結一下折騰shiro的成果，分享給大家，強烈推薦shir

最近的一份市場調查報告顯示，Apache Flink 是2018年開源大資料生態中發展“最快”的引擎，和2017年相比增長了125% 。為了讓大家更為全面地瞭解Flink，我們製作了一本電子乾貨合集： 《不僅

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地