1. 程式人生 > >Apache Beam 2.9.0 釋出,大資料批處理和流處理標準

Apache Beam 2.9.0 釋出,大資料批處理和流處理標準

  

Apache Beam 2.9.0 釋出了。Apache Beam 是 Google 在2016年2月份貢獻給 Apache 基金會的專案,主要目標是統一批處理和流處理的程式設計正規化,為無限、亂序、web-scale 的資料集處理提供簡單靈活,功能豐富以及表達能力十分強大的 SDK。Apache Beam 專案重點在於資料處理的程式設計正規化和介面定義,並不涉及具體執行引擎的實現,Apache Beam 希望基於 Beam 開發的資料處理程式可以執行在任意的分散式計算引擎上。

下載地址:https://beam.apache.org/get-started/downloads/

此版本包括以下主要新特性和改進:

依賴升級

  • Update google-api-client libraries to 1.27.0.

  • Update byte-buddy to 1.9.3

  • Update Flink Runner to 1.5.5

  • Upgrade google-apitools to 0.5.24

I/Os

  • I/O connector for RabbitMQ.

  • Update SpannerIO to support unbounded writes.

  • Add PFADD method to RedisIO.

其他修復

  • Dataflow runner was updated to not

     use Conscrypt as the default security provider.

  • Support set/delete of timers by ID in Flink runner.

  • Improvements to stabilize integration tests.

  • Updates Spark runner to show Beam metrics in web UI

  • Vendor gRPC and Protobuf separately from beam-model-* Java packages

  • Avoid reshuffle for zero and one element creates

詳情請檢視 釋出主頁釋出說明