在前面幾篇部落格我們介紹過一種訊息中介軟體——RabbitMQ，本篇部落格我們介紹另外一個訊息中介軟體——Kafka，Kafka是由LinkedIn開發的,使用Scala編寫，是一種分散式，基於釋出/訂閱的訊

一. 概述 在大資料的靜態資料處理中，目前普遍採用的是用 Spark + Hdfs （Hive / Hbase） 的技術架構來對資料進行處理。 但有時候有其他的需求，需要從其他不同資料來源不間斷得采集資

背景 在資料倉庫建模中，未經任何加工處理的原始業務層資料，我們稱之為ODS(Operational Data Store)資料。在網際網路企業中，常見的ODS資料有業務日誌資料（Log）和業務DB資料（DB

[TOC] 1. 背景和現象 1.1 kafka版本和部署狀態 kafka版本 server和client都是0.11.0 部署狀態 kafka多個節點（具體

Twitter 的實時性特點為 Twitter 的工程團隊帶來了獨特而具有挑戰性的問題。我們需要快速釋出突發新聞，向用戶提供相關廣告，並解決很多其他實時性問題。Twitter 的 Pub/Sub 系統為 Twi

前言 開心一刻 已經報廢了一年多的電腦，今天特麼突然開機了，嚇老子一跳，只見電腦管家緩緩地出來了，本次開機一共用時一年零六個月，打敗了全國0%的電腦，電腦管家已經對您的電腦失去信心，然後它把自己解除安裝

專案裡一直用的是 spring-security ，不得不說，spring-security 真是東西太多了，學習難度太大(可能我比較菜)，這篇部落格來總結一下折騰shiro的成果，分享給大家，強烈推薦shir

最近的一份市場調查報告顯示，Apache Flink 是2018年開源大資料生態中發展“最快”的引擎，和2017年相比增長了125% 。為了讓大家更為全面地瞭解Flink，我們製作了一本電子乾貨合集： 《不僅

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地

之前說過公司有一個老專案要新增功能， 看了一遍程式碼， 發現是基於ant的，那要修改就要先把這個專案跑起來。 由於自己好多年沒再寫過java了， 很多知識已經模糊了，所以也是一邊查資料一邊進行處理，那就一點

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); Iter

登入原理 前面我們耗費在環境搭建上面已經很多時間，這一講開始真正的和小程式功能對接。登入便是小程式的開始，小程式可以方便的使用微信登入，獲取使用者的個人資訊，這樣我們就能保留使用者的資訊和記錄使用者的

【51CTO.com快譯】PerfSONAR(https://www.perfsonar.net/)是一套網路測量工具包，用於測試和共享端到端網路效能方面的資料。 使用像PerfSONAR這種網路測量工具的

本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。期待加入IOT時代最具戰鬥力的團隊。QQ郵箱地