1. 程式人生 > >Bireme:一個 Greenplum數據倉庫的增量同步工具

Bireme:一個 Greenplum數據倉庫的增量同步工具

postgre 大數 基於 分享 記錄 同步 alt %20 構建

https://hashdatainc.github.io/bireme/

Bireme 是一個 Greenplum / HashData 數據倉庫的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 數據源。

Greenplum 是一個高級,功能齊全的開源數據倉庫,為PB級數據量提供強大而快速的分析。它獨特地面向大數據分析,由世界上最先進的基於成本的查詢優化器提供支持,可在大數據量上提供高分析查詢性能。

HashData 則是基於 Greenplum 構建彈性的雲端數據倉庫。

Bireme 采用 DELETE + COPY 的方式,將數據源的修改記錄同步到 Greenplum / HashData ,相較於INSERT + UPDATE + DELETE的方式,COPY 方式速度更快,性能更優。

Bireme 特性與約束:

  • 采用小批量加載的方式提升數據同步的性能,默認加載延遲時間為10秒鐘。
  • 所有表在目標數據庫中必須有主鍵

技術分享圖片

這裏也介紹了其他兩個工具:

Debezium

maxwell

Bireme:一個 Greenplum數據倉庫的增量同步工具