1. 程式人生 > >rsync+inotify搭建實時同步系統

rsync+inotify搭建實時同步系統

-- 切換 服務 文件系統 版本 行數據 實現 兩臺 lock

Rsync 優點

rsync具有安全性高、備份迅速、支持增量備份等優點,通過rsync可以解決對實時性要求不高的數據備份需求,例如定期地備份文件服務器數據到遠程服務器上,對本地磁盤定期進行數據鏡像等。

Rsync 不足

隨著應用系統規模的不斷擴大,對數據的安全性和可靠性提出了更高的要求,rsync便暴露出了很多不足之處。首先,rsync同步數據時,需要掃描所有文件後進行比對,然後進行差量傳輸。如果文件數量達到了百萬量級及以上時,掃描文件就非常耗費時間,有時還會出現只是很少一部分數據發生了變化,因此rsync就變得非常低效了。其次,rsync不能夠實時監測、同步數據,雖然它可以通過Linux守護進程的方式觸發同步,但是兩次觸發動作一定會出現時間差,可能導致服務器端和客戶端的數據出現不一致,後期無法在出現故障時完全恢復數據。

Rsync+inotify組合

為解決以上問題而出現的,實現了數據的實時同步

inotify是什麽 ?

inotify是一種強大的、細粒度的、異步的文件系統事件監控機制,Linux內核從2.6.13版本起,加入了對inotify的支持。通過inotify可以監控文件系統中添加、刪除、修改、移動等各種事件,利用這個內核接口,inotify-tools便可以監控文件系統下文件的各種變化情況了。

檢查內核是否支持inotify:

技術分享圖片

實驗案例:rsync+inotify搭建實時同步系統

案例描述:在前文Haproxy搭建高可用Web集群的網站拓撲架構圖基礎上,實現兩臺Web站點數據的實時同步,web1服務器為內容發布節點,web2服務器為同步節點(本文主要說明rsync+inotify實時同步數據技術,其他請閱讀前文,謝謝!)。

系統環境

主機 操作系統 IP地址 web站點目錄 軟件包
負載調度服務器: CentOS 7.0 x86_64 192.168.100.25 haproxy-1.5.19.tar.gz
web1節點服務器: CentOS 7.0 x86_64 192.168.100.26 /www/wwwroot nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz、inotify-tools-3.14.tar.gz
web2節點服務器: CentOS 7.0 x86_64 192.168.100.27 /web2/wwwroot nginx-1.12.0.tar.gz、rsync-3.1.3.tar.gz
Win 7 客戶端: Windows 7 192.168.100.30

軟件包:rsync+inotify 密碼:do45

開始部署

inotify-tools是用來監控文件系統變化的工具,因此必須安裝在內容發布系統上,服務節點無需安裝它,而web2服務器上需要安裝rsync實現文件傳輸。

一、web2服務器(待同步數據:rsync)

1.安裝rsync軟件包

#解壓
tar zxvf rsync-3.1.3.tar.gz -C /opt
#切換目錄
cd /opt/rsync-3.1.3
#配置
./configure
#編譯及安裝
make && make install

2.修改rsync配置文件:

/etc/rsyncd.conf

#/etc/rsyncd: configuration file for rsync daemon mode
#See rsyncd.conf man page for more options.
#configuration example:
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict mode=yes
pid file = /var/run/rsyncd.pid
lock file=/var/run/rsync.lock
log file=/var/log/rsyncd.log
[web1]
path = /web1/wwwroot
comment = web1 file
ignore errrors
read only=no
write only=no
hosts allow=*
hosts deny=192.168.100.10
list=false
uid=root
gid=root
auth users=web1user
secrets file=/etc/web1.pass

3.新建密碼文件(文件格式:user:pass)

/etc/web1.pass

> web1user:www123

修改密碼文件權限

chmod 600 /etc/web1.pass

4.啟動rsync守護進程

/usr/local/bin/rsync --daemon       

5.加入系統自啟動文件

echo "/usr/local/bin/rsync --daemon" >> /etc/rc.local

6.查看rsync進程

ps -ef | grep rsync

技術分享圖片

二、web1服務器(內發發布節點:rsync+inotify)

1.安裝rsync軟件包

#解壓
tar zxvf rsync-3.1.3.tar.gz -C /opt
#切換目錄
cd /opt/rsync-3.1.3
#配置
./configure
#編譯及安裝
make && make install

2.新建密碼文件,需和節點服務器密碼一致

/etc/server.pass

> www123

3.修改密碼文件權限

chmod 600 /etc/server.pass

4.安裝inotify-tools

#解壓
tar zxvf inotify-tools-3.14.tar.gz -C /opt
#切換目錄
cd -C /opt/inotify-tools-3.14
#配置
./configure
#編譯及安裝
make && make install

5.編寫shell腳本來配置內容發布節點

vim /web/inotifyrsync.sh

#!/bin/bash
host1=192.168.100.26
src=/web/wwwroot/
dst1=web1
user1=web1user
/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e close_write,delete,create,attrib $src \
| while read files
do
/usr/bin/rsync -vzrtopg --delete --progress --password-file=/etc/server.pass $src $user1@$host1::$dst1 > /dev/null 2>&1
echo "${files} was rsynced." >> /tmp/rsync.log 2>&1
done

技術分享圖片

6.為其指定可執行權限,然後放入後臺運行

chmod 755 /web/inotifyrsync.sh
/web/inotifyrsync.sh &

7.將腳本加入系統自啟動文件

echo "/web/inotifyrsync.sh &" >> /etc/rc.local

測試

在web1服務器節點的/web/wwwroot目錄下添加、刪除、修改文件,然後到web2服務器節點對應目錄去查看文件是否跟隨發布節點同步變化。

web1服務器為內容發布節點:

技術分享圖片

web2服務器進行數據同步:

技術分享圖片

rsync+inotify搭建實時同步系統