Apache Kafka

Apache Flink 1.7.2 釋出,流處理框架

Apache Flink 1.7.2 釋出了,Flink 是一個流處理框架,應用於分散式、高效能、始終可用的與準確的資料流應用程式。 這是 1.7 的第二個 bugfix 版本,包含 40 多個

Avro簡介及Java運用

Avro 是一種遠端過程呼叫和資料序列化框架,是在Apache的Hadoop專案之內開發的。它使用JSON來定義資料型別和通訊協議,使用壓縮二進位制格式來序列化資料。它主要用於Hadoop,它可以為持

對Flink流處理模型的抽象

我們開發的一個基於大資料平臺的資料倉庫,選擇了Flink作為資料處理的底層框架。我們主要看重於它在流處理的低延遲性,訊息傳遞保證的extractly once特性;它為流處理和批處理提供了相對統一的API

大資料平臺HDP搭建

Apache Ambari是一個基於Web的支援Apache Hadoop叢集的供應、管理和監控的開源工具,Ambari已支援大多數Hadoop元件,包括HDFS、MapReduce、Hive、Pig、 Hba

1746021493.4774