Apache Beam 2.7.0 釋出,大資料批處理和流處理標準
Apache Beam 2.7.0ofollow,noindex">釋出了 。Apache Beam 是 Google 在 2016 年 2 月份貢獻給 Apache 基金會的專案,主要目標是統一批處理和流處理的程式設計正規化,為無限,亂序,web-scale 的資料集處理提供簡單靈活,功能豐富以及表達能力十分強大的 SDK。Apache Beam 專案重點在於資料處理的程式設計正規化和介面定義,並不涉及具體執行引擎的實現,Apache Beam 希望基於 Beam 開發的資料處理程式可以執行在任意的分散式計算引擎上。
下載地址:https://beam.apache.org/get-started/downloads/
此版本包括以下主要新功能和改進:
- 新的 KuduIO, Amazon SNS sink, Amazon SqsIO
- 升級依賴關係到新版本
- 對於簡單示例,在本地 Flink 執行器上新增對 Python 的實驗性支援
- 各種錯誤修正和小改進