【otter搭建】在Linux下搭建阿裏開源otter數據同步平臺
一，準備安裝包和配置文件
JDK：下次補上鏈接
Zookeeper：
MYSQL：
manager和node：
配置文件：otter.sql
二，安裝，配置，啟動
1,jdk:
解壓在/usr/local/
配置環境變量：
vi /etc/profile，在最後添加以下4行(如果已經添加了酌情是否修改)
JAVA_HOME=/usr/local/jdk1.8.0_181
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH
運行該命令source /etc/profile
調試：
java -version
javac -version
2,安裝zk(單一ZK，且省略了配置)
解壓:
運行
3,安裝mysql
解壓，
運行sh腳本自動安裝：
配置文件可以自行修改my.cnf
然後運行install-mysql-test.sh就可以了
僅適用於首次安裝，覆蓋安裝時會有大量報錯，到時候需要根據報錯提示信息，分析並逐一解決
可能的報錯問題解決：
1，自動修改密碼失敗：不用管他，直接去mysql的日誌中查看初始化的密碼
2，其他問題。不用管，直接看Mysql服務器啟動沒有：
ps -ef | grep mysql。沒有啟動再分析，具體情況太多，主要有幾點：
1，mysql的數據文件不是Mysql用戶的。需要chown -R mysql:mysql [data目錄]
2，訪問的文件沒有權限進行修改：chmod 755 [對應文件]
3，其他原因：可以自己百度原因，原因很多啊，參考：https://blog.csdn.net/u010448530/article/details/80456468
調試：
mysql裝好後會有很多初始化的問題
1，初始化密碼查看
先查看/etc/my.cnf配置文件中的日誌地址，發現是/var/log/mysqld.log
然後進入該log,找到圖中的這行（如果腳本修改密碼失敗）
根據圖中的密碼連接到Mysql，然後重置密碼
1，重置密碼,
alter user user() identified by "OTTER#515";
修改密碼策略：
show variables like ‘validate_password%‘;
set global validate_password_policy=0;
set global validate_password_length=1;
set global validate_password_policy=LOW;
2，需要建立權限，讓其他域名的用戶能夠訪問Mysql
新建用戶訪問：
grant all on *.* to [email protected]‘%‘ identified by ‘OTTER#515‘ with grant option;
flush privileges;
root用戶訪問(偷懶就只執行這一條就夠了)：
grant all privileges on *.* to ‘root‘@‘%‘ identified by ‘OTTER#515‘ with grant option;
flush privileges;
3，SQL_MODE 運行模式
show variables like ‘sql_mode‘;
set session
>sql_mode=‘ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION‘;
4,執行otter相關的otter.sql文件
本人的otter.sql文件放在了/root/otter安裝包 裏面(請忽視中文路徑帶來的不適感)
在mysql命令行執行以下子句：
drop database otter;
create database otter;
use otter;
source /root/otter安裝包/otter.sql
然後，插入用戶名密碼(admin/admin)：
INSERT INTO `USER` VALUES (‘1‘, ‘admin‘, ‘801fc357a5a74743894a‘, ‘ADMIN‘, ‘admin‘, ‘admin‘, ‘2019-01-17 15:51:07‘, ‘2019-01-17 15:51:07‘);
INSERT INTO `USER` VALUES (‘2‘, ‘guest‘, ‘471e02a154a2121dc577‘, ‘OPERATOR‘, ‘guest‘, ‘guest‘, ‘2019-01-17 15:51:07‘, ‘2019-01-17 15:51:07‘);
4,安裝manager和Node
解壓manager和node
manager:
node:
配置manager和node
manager配置：vi conf/conf/otter.properties
otter.domainName 修改成搭建otter-manager的服務器地址
otter.database.driver.url 修改成otter自己的數據庫地址
otter.database.driver.username 數據庫用戶名
otter.database.driver.password 數據庫密碼
otter.zookeeper.cluster.default = 127.0.0.1:2181 zk所在地址，酌情修改
node配置：其他都不用改變，只需要修改otter.manager.address的地址為otter-manager所在地址就行了
然後在node的conf目錄下，新增一個nid文件:
touch nid
然後向其中寫入1個值1(這個數字和otter中添加的node節點編號必須一致)
本人寫的是7，這是因為Manager中，該node節點的編號為7
啟動Manager和node
進入manager的bin目錄
sh stop.sh
sh startup.sh
查看啟動日誌
tail -200f ../logs/manager.log
看到the manager server is running now 說明啟動完成了
調試Manager：
如果centos6 執行一下這兩個命令：
setenforce 0
service iptables stop
如果是centos7 以上，執行這三個命令
setenforce 0
systemctl iptables stop
systemctl firewalld stop
（命令可能是錯的，但是大概意思是對的）
然後就可以通過域名訪問otter-manager了。默認端口是8080.。
em....多了一個百度網盤的上傳速度Logo，不管了。
然後點擊機器管理-zookeeper管理，添加一個zk
接著添加一個Node，截圖見上面，註意添加的node編號。必須與node/conf/nid文件的中一模一樣，修改nid值後必須重啟Node，並查看日誌
然後啟動node，在node目錄上層執行以下命令
chmod 755 -R node
node/bin/stop.sh
node/bin/startup.sh
tail -200f node/logs/node/node.log
三，測試和使用
趕不上地鐵了，下次寫
僅配置單向同步：
1，添加數據源
2，添加表
3，添加cannal
4，添加channel
5，添加peline
6，添加表映射
7，啟動pipeline
8，使用Jmeter的jdbc請求，向源表增刪改查數據，然後核對數據
【otter搭建】在Linux下搭建阿裏開源otter數據同步平臺