Apache Commons

Apache Flink 1.7.2 釋出,流處理框架

Apache Flink 1.7.2 釋出了,Flink 是一個流處理框架,應用於分散式、高效能、始終可用的與準確的資料流應用程式。 這是 1.7 的第二個 bugfix 版本,包含 40 多個

從零搭建精準運營系統

2018剛過去,趁著春節放假對過去一年主導開發的專案做個梳理和總結 專案背景 平臺運營到一定階段,一定會累積大批量的使用者資料,這些使用者資料是運營人員的黃金財產。而如何利用使用者的資料來做運營(訊息推

知乎實時數倉實踐及架構演進

“資料智慧” (Data Intelligence) 有一個必須且基礎的環節,就是資料倉庫的建設,同時,資料倉庫也是公司資料發展到一定規模後必然會提供的一種基礎服務。從智慧商業的角度來講,資料的結果代表

Avro簡介及Java運用

Avro 是一種遠端過程呼叫和資料序列化框架,是在Apache的Hadoop專案之內開發的。它使用JSON來定義資料型別和通訊協議,使用壓縮二進位制格式來序列化資料。它主要用於Hadoop,它可以為持

圖解 kafka 的高可用機制

對於一個複雜的分散式系統,如果沒有豐富的經驗和牛逼的架構能力,很難把系統做得簡單易維護,我們都知道,一個軟體的生命週期中,後期維護佔了70%,所以系統的可維護性是極其重要的, kafka 能成為大資料領域的事實

對Flink流處理模型的抽象

我們開發的一個基於大資料平臺的資料倉庫,選擇了Flink作為資料處理的底層框架。我們主要看重於它在流處理的低延遲性,訊息傳遞保證的extractly once特性;它為流處理和批處理提供了相對統一的API

1746021387.9401