Rsync+Sersync實時同步資料目錄
阿新 • • 發佈：2018-10-31
第1章 Rsync簡介
1.1 Rsync基本概述
rsync是一款開源的備份工具，可以在不同主機之間進行同步，可實現全量備份與增量備份
全量：將全部資料，進行傳輸覆蓋
增量：只傳輸差異部分的資料
1.2 實現增量複製的原理
Rsync通過其獨特的“quick check”演算法，實現增量傳輸資料
在同步備份資料時，預設情況下，Rsync通過其獨特的“quick check”演算法，它僅同步大小或者最後修改時間發生變化的檔案或目錄，當然也可根據許可權，屬主等屬性的變化同步，但需要指定相應的引數，甚至可以實現只同步一個檔案裡有變化的內容部分，所以，可以實現快速的同步備份資料。
1.3 Rsync軟體功能介紹
類似於 cp 命令 -- 實現本地備份傳輸資料 類似於scp 命令 -- 遠端備份傳輸資料 類似於 rm 命令 -- 實現無差異同步備份 類似於 ls 命令 -- 本地檔案資訊檢視 rsync 命令屬於1 v 4 的命令
1.4 遠端拷貝
#使用rsync拷貝41主機上/root目錄下的oldboyedu.com檔案，拷貝至本地當前目錄 rsync -avz [email protected]:/root/oldboyedu.com ./ #拷貝檔案 rsync -avz [email protected]:/root/ /backup/ #拉取遠端目錄下的所有檔案 rsync -avz[email protected]:/root /backup/ #拉取遠端目錄以及目錄下的所有檔案
注意：遠端拷貝目錄需要注意 /
# 將本地/backup/2018-07-23這個目錄以及目錄下的內容，推送至於41伺服器的/tmp目錄下 rsync -avz /backup/2018-07-23 [email protected]:/tmp/
問題：
1.使用的ssh系統使用者，不安全
2.必須通過ssh協議才可以傳輸
1.5 守護程序拷貝
守護程序拷貝很安全，是使用虛擬使用者
//將本地資料推送至backup伺服器
rsync -avz /mnt/ [email protected]::backup/
//將backup伺服器資料拉至本地伺服器
rsync -avz [email protected]::backup/ /mnt/
第2章 Rsync伺服器端安裝
2.1 系統環境
[[email protected] ~]# cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [[email protected] ~]# uname -r 3.10.0-229.el7.x86_64 [[email protected] ~]# systemctl status firewalld firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled) Active: inactive (dead) [[email protected] ~]# getenforce Disabled
2.2 安裝rsync
2.2.1 檢查和安裝
$ rpm -qa|grep rsync #檢查是否安裝，如安裝請忽略下面步驟，沒有則安裝 rsync-3.1.2-4.el7.x86_64 $ yum -y install rsync
2.2.2 新增配置檔案
$ vim /etc/rsyncd.conf uid = rsync #不一定是rsync，可以是www等，設定和你站點目錄一樣的屬主最合適 gid = rsync port = 873 fake super = yes use chroot = no max connections = 200 timeout = 600 ignore errors read only = false list = false hosts allow = 172.16.1.0/24 #修改一下允許訪問的網段，根據實際情況填寫 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password log file = /var/log/rsyncd.log ##################################### [backup] #模組名稱 comment = welcome to oldboyedu backup! path = /backup #備份目錄
2.2.3 建立虛擬使用者
$ useradd -M -s /sbin/nologin rsync
2.2.4 建立虛擬賬戶對應的使用者名稱與密碼(用於客戶端連線的賬戶和密碼)
$ vim /etc/rsync.password rsync_backup:123456 $ chmod 600 /etc/rsync.password
2.2.5 建立倉庫目錄，授權屬主和屬組
$ mkdir /backup $ chown -R rsync.rsync /backup/
2.2.6 啟動
$ systemctl start rsyncd #啟動 $ systemctl enable rsyncd #開機自啟動 #檢查埠是否已經啟動 $ netstat -lntup|grep 873 tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 1861/rsync tcp6 0 0 :::873 :::* LISTEN 1861/rsync
第3章 客戶端配置
3.1 客戶端配置，實現無密碼推送或拉去資料
$ echo "123456" > /etc/rsync.password $ chmod 600 /etc/rsync.password
客戶端測試推送檔案
$ rsync -avz /etc/hosts [email protected]::backup Password: #密碼是檔案裡面的密碼，不是linux伺服器的密碼，我這裡是123456 sending incremental file list sent 42 bytes received 20 bytes 17.71 bytes/sec total size is 158 speedup is 2.55 #這個就代表已經傳過去了，可以去伺服器目錄檢視是否有這個檔案了
第4章 安裝Sersync實時監控並同步
4.1 安裝
4.1.1 sersync安裝在你需要監控的伺服器上，如這個目錄經常變動（客戶端）
$ mkdir /server/tools –p $ cd /server/tools $ wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz #下載sersync $ tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz $ mv GNU-Linux-x86/ /usr/local/sersync $ cd /usr/local/sersync/ $ cp confxml.xml confxml.bak #x修改前備份配置檔案
4.1.2 配置
$ vim confxml.xml 5 <fileSystem xfs="true"/> <!-- 檔案系統 --> 6 <filter start="false"> <!-- 排除不想同步的檔案--> 7 <exclude expression="(.*)\.svn"></exclude> 8 <exclude expression="(.*)\.gz"></exclude> 9 <exclude expression="^info/*"></exclude> 10 <exclude expression="^static/*"></exclude> 11 </filter> 12 <inotify> <!-- 監控的事件型別 --> 13 <delete start="true"/> 14 <createFolder start="true"/> 15 <createFile start="true"/> 16 <closeWrite start="true"/> 17 <moveFrom start="true"/> 18 <moveTo start="true"/> 19 <attrib start="false"/> 20 <modify start="false"/> 21 </inotify> 23 <sersync> 24 <localpath watch="/var/www"> <!-- 監控的目錄 --> 25 <remote ip="10.0.0.10" name="backup"/> <!-- backup的IP以及模組 --> 26 <!--<remote ip="192.168.8.39" name="tongbu"/>--> 27 <!--<remote ip="192.168.8.40" name="tongbu"/>--> 28 </localpath> 29 <rsync> <!-- rsync的選項 --> 30 <commonParams params="-az"/> 31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> 32 <userDefinedPort start="false" port="874"/><!-- port=874 --> 33 <timeout start="true" time="100"/><!-- timeout=100 --> 34 <ssh start="false"/> 35 </rsync> <!-- 每60分鐘執行一次同步--> 36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--def ault every 60mins execute once-->
4.1.3 啟動
$ ./sersync2 –h set the system param execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events parse the command param _______________________________________________________ 引數-d:啟用守護程序模式 引數-r:在監控前，將監控目錄與遠端主機用rsync命令推送一遍 c引數-n: 指定開啟守護執行緒的數量，預設為10個 引數-o:指定配置檔案，預設使用confxml.xml檔案 引數-m:單獨啟用其他模組，使用 -m refreshCDN 開啟重新整理CDN模組 引數-m:單獨啟用其他模組，使用 -m socket 開啟socket模組 引數-m:單獨啟用其他模組，使用 -m http 開啟http模組 不加-m引數，則預設執行同步程式 $ /usr/local/sersync/sersync2 -dro /usr/local/sersync/confxml.xml #啟動命令 可以檢視監控目錄的檔案是否和另一臺伺服器目錄的檔案一樣了。