1. 程式人生 > >如何對MySQL資料庫中的資料進行實時同步

如何對MySQL資料庫中的資料進行實時同步

www.syncnavigator.cn

SyncNavigator 做資料同步時所支援的資料庫型別:

支援sqlserver 2000-2014所有版本,全相容,和MYsql 4.x 、MYsql 5.x 、MYsql 6.x版本。

來源資料庫和目標資料庫可以版本不同,比如:來源資料庫是sqlserver 2012  目標資料庫是mysql 5.5 ,都是可以的, SyncNavigator 支援跨資料庫版本,無縫傳輸資料。

只需要能連線上資料庫, SyncNavigator 可以安裝在第三方電腦上,來源資料庫和目標資料庫電腦上可以不用安裝程式。

設定好資料庫連線地址,點選測試連線,能臉上來源資料庫和目標資料庫, SyncNavigator 就能進行高效資料傳輸服務

通過阿里雲資料傳輸,並使用 dts-ads-writer 外掛, 可以將您在阿里雲的雲資料庫 RDS for MySQL 中資料表的變更實時同步到分析型資料庫中對應的實時寫入表中(RDS 端目前暫時僅支援 MySQL 引擎)。

前提條件

您需要在您 RDS for MySQL 所在的雲賬號下開通阿里雲資料傳輸服務伺服器上需要有 Java 6 或以上的執行環境(JRE/JDK)。

操作步驟

1. 在分析型資料庫上建立目標表,資料更新型別為實時寫入,欄位名稱和 MySQL 中的建議均相同;

2. 在阿里雲資料傳輸的控制檯上建立資料訂閱通道,並記錄這個通道的 ID;

3. 配置 dts-ads-writer/app.conf 檔案,配置方式如下:所有配置均儲存在 app.conf 中,執行前請保證配置正確;修改配置後,請重啟 writer。

基本配置

tables 節點的配置示例, 表示 rds_db 庫下的 rds_table 表對應 ads_table 表,並且 rds_table 表的 col1 列對應 ads_table 表的 col1_ads 列, rds_table 表的 col2 列對應 ads_table 表的 col2_ads列。

注意事項

1)RDS for MySQL 表和分析型資料庫中表的主鍵定義必須完全一致;如果不一致會出現資料不一致問題。如果需要調整 RDS/分析型資料庫表的主鍵,建議先停止 writer 程序;

2)一個外掛程序中分析型資料庫 db 只能是一個,由 adsJdbcUrl 指定;

3)一個外掛程序只能對應一個數據訂閱通道;如果更新通道中的訂閱物件時,需要重啟程序;

4)RDS for MySQL 中 DDL 操作不做同步處理;

5)更新 app.conf 需要重啟外掛程序才能生效;

6)如果工具出現 bug 或某種其它原因需要重新同步歷史資料,只能回溯最近 24 小時的資料(在阿里雲資料傳輸的控制檯中修改消費位點);

7)外掛的最大同步效能與執行外掛的伺服器的網際網路頻寬和磁碟 IOPS 成正比。

4. 執行 dts-ads-writer/bin/startup.sh(sh bin/startup.sh);

5. 配置監控程式監控程序存活和日誌中的常見錯誤碼。

logs 目錄下的日誌中的異常資訊均以 ErrorCode=XXXX ErrorMessage=XXXX 形式給出,可以進行監控,具體如下