Apache Beam 2.9.0 釋出,大資料批處理和流處理標準
Apache Beam 2.9.0 釋出了。Apache Beam 是 Google 在2016年2月份貢獻給 Apache 基金會的專案,主要目標是統一批處理和流處理的程式設計正規化,為無限、亂序、web-scale 的資料集處理提供簡單靈活,功能豐富以及表達能力十分強大的 SDK。Apache Beam 專案重點在於資料處理的程式設計正規化和介面定義,並不涉及具體執行引擎的實現,Apache Beam 希望基於 Beam 開發的資料處理程式可以執行在任意的分散式計算引擎上。
下載地址:https://beam.apache.org/get-started/downloads/
此版本包括以下主要新特性和改進:
依賴升級
Update google-api-client libraries to 1.27.0.
Update byte-buddy to 1.9.3
Update Flink Runner to 1.5.5
Upgrade google-apitools to 0.5.24
I/Os
I/O connector for RabbitMQ.
Update SpannerIO to support unbounded writes.
Add PFADD method to RedisIO.
其他修復
Dataflow runner was updated to not
Support set/delete of timers by ID in Flink runner.
Improvements to stabilize integration tests.
Updates Spark runner to show Beam metrics in web UI
Vendor gRPC and Protobuf separately from beam-model-* Java packages
Avoid reshuffle for zero and one element creates