mysql 第四十篇文章~canal+otter的初次嘗試
一 簡介: 今天咱們來聊聊 canal和otter的組合搭配吧
二 概念統計
1. 基於Canal開源產品，獲取數據庫增量日誌數據。
2. 典型管理系統架構，manager(web管理)+node(工作節點)
a. manager運行時推送同步配置到node節點
b. node節點將同步狀態反饋到manager上
3. 基於zookeeper，解決分布式狀態調度的，允許多node節點之間協同工作.
三 機器組成:
1 manager節點(最好自帶數據庫) 2 node節點 3 ZK集群 4 mysql數據庫(2 臺)
四 manager安裝
1 下載sql文件並導入
wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
source otter-manager-schema.sql
2 下載安裝包
wget https://github.com/alibaba/otter/releases/download/v4.2.15/manager.deployer-4.2.15.tar.gz
tar xzvf manager.deployer-4.2.15.tar.gz -C /usr/local/otter-manager
3 修改配置文件otter.properties
otter.zookeeper.cluster.default = zk地址:2181
otter.domainName =本機IP地址
otter.database.driver.url = jdbc:mysql://IP:3306/otter
otter.database.driver.username = 用戶名
otter.database.driver.password = 密碼 //otter管理節點需要使用數據庫，這裏設置的是連接這臺數據庫的用戶名密碼
4 啟動相應進程
startup.sh
5 manager啟動測試
訪問地址 http://127.0.0.1:8080/login.htm，初始密碼為：admin/admin
6 訪問成功截圖
二 node 啟動
註意 必須安裝manager,在web界面對node節點進行配置
1 登錄web界面進行node節點配置
機器名稱：可以隨意定義，方便自己記憶即可
機器ip：對應node節點將要部署的機器ip，如果有多ip時，可選擇其中一個ip進行暴露. (此ip是整個集群通訊的入口，實際情況千萬別使用127.0.0.1，否則多個機器的node節點會無法識別)
機器端口：對應node節點將要部署時啟動的數據通訊端口，建議值：2088
下載端口：對應node節點將要部署時啟動的數據下載端口，建議值：9090
外部ip ：對應node節點將要部署的機器ip，存在的一個外部ip，允許通訊的時候走公網處理。
zookeeper集群：為提升通訊效率，不同機房的機器可選擇就近的zookeeper集群.
2 從節點服務器進行安裝配置
1 wget https://github.com/alibaba/otter/releases/download/v4.2.15/node.deployer-4.2.15.tar.gz
tar xzvf node.deployer-4.2.15.tar.gz -C /usr/local/otter-node
wget http://repository.it4i.cz/mirrors/repoforge/redhat/el6/en/x86_64/rpmforge/RPMS/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
rpm -ivh rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
yum -y install aria2
2 修改配置文件
1 NID配置
echo 1 > conf/nid (這裏的NID是第一步配置生成的第一個ID)
2 otter.properties配置修改
otter.manager.address = IP:1099 正確的otter-manager地址
3 啟動node節點服務
3 查看狀態
狀態已啟用代表正常,如果沒有啟用,請查看日至進行排查，可能端口被占用
請註意 otter+canal 只支持row格式下的binlog格式
至此,主從節點配置完成,今天先到這裏吧
mysql 第四十篇文章~canal+otter的初次嘗試