1. 程式人生 > >愛可⽣開源MySQL資料傳輸中介軟體—DTLE

愛可⽣開源MySQL資料傳輸中介軟體—DTLE

 

2018年10⽉24⽇,企業級資料處理技術整體解決方案提供商上海愛可⽣資訊科技股份有限公司正式開源其 MySQL 資料傳輸中介軟體DTLE。

 

DTLE:

http://dtle.cloud

https://github.com/actiontech/dtle

對應文件地址:

https://actiontech.github.io/dtle-docs-cn/

DTLE QQ群:852990221

 

目前,隨著MySQL在各個行業的深入使用,在不同資料系統、不同資料中心、不同業務系統之間進行資料傳輸、資料訂閱、形成資料匯流排等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特點、支援多種使用場景的資料傳輸中介軟體。

 

DTLE是什麼?

 

DTLE是一個開源的資料傳輸中介軟體,其針對的核心場景如下: 

 

  • 跨資料中心的資料傳輸:DTLE能在資料中心間進行可靠資料傳輸,並提供鏈路壓縮以降低傳輸成本

  • 雲間資料同步/遷移:DTLE能提供在公有云間架設資料同步通道,以支援資料容災等需求

  • 資料匯聚:DTLE能將多個數據源匯聚到同一個資料來源,以提供資料分析/資料轉儲的功能

  • 資料訂閱:DTLE能將資料來源的變更訊息發往Kafka等訊息中介軟體,以支援資料訂閱通知/快取失效通知等需求

  • 跨資料中心的雙向複製:DTLE能在資料中心間提供雙向複製通道,以配合業務實現資料雙寫

 

為什麼要開源?

 

隨著MySQL在各行業的使用場景逐漸成熟,以資料傳輸為基礎的需求逐漸增多。若要設計一款良好的資料傳輸中介軟體,要解決的核心問題是:如何保障質量、適配複雜場景、提供多樣功能。

 

在2017年10月24日,愛可生開源了MySQL分散式中介軟體—DBLE。時隔一年,DBLE與社群互動良好,從社群吸納了許多設計經驗和質量反饋,已成為一款成熟的資料庫中介軟體。隨著社群使用者增多,已實現了與社群使用者的雙贏。

 

愛可生此次開源DTLE,是真誠為社群提供MySQL生態圈裡一個可持續發展的工具,並希望與社群再次達成雙贏,解決資料傳輸中介軟體的核心問題。

 

DTLE的設計特點

 

  • 分散式架構:DTLE在資料傳輸這個基本場景上,使用了成熟的分散式任務排程架構,可以便捷地在叢集中配置大量的資料傳輸任務,提供斷點續傳/故障轉移等分散式系統的重要特性

  • 靈活的網路適配能力:DTLE可適配複雜的網路架構,提供跨資料中心的資料通道功能和公有云間的資料通道功能

  • 多場景適配:DTLE通過組合多個原子任務,可適配複雜的資料傳輸場景

 

關於開源 MySQL 資料傳輸中介軟體DTLE更多技術細節我們後期會持續輸出,版本更新維護及使用問題反饋,歡迎加入DTLE(Q群:852990221)。