1. 程式人生 > >使用rsync和crontab進行伺服器自動備份

使用rsync和crontab進行伺服器自動備份

本文第一部分講了實現自動備份的流程,後兩部分分別介紹了crontab和rsync的簡單使用可供檢視。

一、使用rsync和crontab來實現伺服器內容增量自動備份

設已有主機A和B,需要從生產主機A備份資料到備份主機B,為減輕主機A的負擔,一切配置和命令在備份主機B上進行,備份主機B作為rsync伺服器,主機A只需要安裝有rsync即可。

資料備份方向:A→B

1.安裝rsync

sudo apt-get install rsync

主機AB都需要安裝rsync

2.配置檔案

(1)安裝rsync後config檔案不會自動生成,需要手動建立

只需在作為rsync伺服器的主機B上建立即可

vim /etc/rsyncd.conf
#裡面的內容包括:

#全域性配置
uid = root
gid = root                      #指定主機B的使用者id和組
port = 873                       #預設埠是873
use chroot = no
max connections = 10            #最大連線數
list = yes                      #是否可以列出檔案列表
pid file = /var/run/rsyncd.pid  #各類檔案的存放
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
#motd file = /etc/rsyncd.motd   #歡迎檔案,裡面可以自己寫歡迎語
hosts allow = *.*.*.*           #允許訪問的ip地址,這裡是A主機的地址
#hosts deny=                     #拒絕訪問的ip
#timeout=                       #超時時間設定

[data]                          #指定釋出名,可以隨意起,備份時可以用釋出名代替具體路徑
path = /root/test               #指定檔案目錄所在位置,就是你要備份的主機A上的目錄
read only = no
#ignore errors                  #忽略IO
#auth users = root              #說明進行同步的使用者,可以不寫
#secrets file = /etc/sery.pass #指定口令檔案,如果用ssh可以不寫,不然需要用這個進行驗證


#儲存退出
:wq
#將許可權改為600
chmod 600 /etc/rsyncd.conddis

3.訪問許可權

使用下面兩種方法之一

(1)使用ssh金鑰

主機B需要能通過ssh祕鑰登陸主機A

如果沒有則在B上

#該命令會在~/.ssh/目錄下建立id_rsa、id_rsa.pub兩個檔案ssh-keygen
ssh-keygen
將公鑰拷貝到主機A的~/.ssh/authorized_keys檔案中
ssh-copyid root@主機A的ip

(2)使用口令檔案

主機B建立口令檔案

#vi /etc/rsync.pass
root:123456
#口令檔案許可權必須為600
chmod 600 /etc/rsync.pass

主機A建立口令檔案

#vi /etc/rsync.pass 
123456
#口令檔案許可權必須為600
chmod 600 /etc/rsync.pass

注意

兩檔案不同,備份主機B在此作為rsync伺服器,口令檔案包含使用者名稱,主機A上的口令檔案只包含口令即可。

口令檔案許可權必須為600

4.啟動rsync

主機B上啟動rsync

rsync –daemon --config=/etc/rsyncd.conf 

5.設定rsync自動啟動

echo "/usr/bin/rsync --daemon --config=/etc/rsyncd.conf" >>/etc/rc.local

6.測試同步

#使用ssh登陸方式進行備份
rsync -avz -e ssh [email protected]*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄
#使用口令檔案驗證備份,要指定口令檔案
rsync –avz 
[email protected]
*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄 –-password-file=/etc/rsync.pass

 –a 使用archive模式,保持原有的檔案許可權

–v顯示到螢幕上

–z傳輸時壓縮資料

 --delete是指如果伺服器端刪除了這一檔案,那麼客戶端也相應把檔案刪除,保持真正的一致,如果不加這個選項就是預設的增量備份。

 data就是之前說的那個釋出名,/root/test 客戶端本地存放路徑

 –password-file 指定密碼檔案

7.使用crontab實現自動同步

(1)將rsync語句寫進指令碼中

vim /root/rsyncd.sh
#!/bin/bash
rsync -avz -e ssh [email protected]*.*.*.(主機A的ip):/主機A要進行備份的目錄或檔案 /主機B上儲存備份檔案的目錄

(2)將剛寫指令碼加入crontab任務

#編輯使用者目前的crontab. 
crontab-e
#在裡面加上crontab任務,已每天執行一次為例
#分  時  日  月  周   命令
 *  *  */1 *  *   sh /root/rsyncd.sh  

二、關於crontab的使用

1.命令引數

crontab file [-u user]-用指定的檔案替代目前的crontab。

crontab-[-u user]-用標準輸入替代目前的crontab.

crontab-1[user]-列出使用者目前的crontab.

crontab-e[user]-編輯使用者目前的crontab.

crontab-d[user]-刪除使用者目前的crontab.

crontab-c dir- 指定crontab的目錄。

2.格式及例子

crontab檔案的格式:M H D m d cmd.

M: 分鐘(0-59)。

H:小時(0-23)。

D:天(1-31)。

m: 月(1-12)。

d: 一星期內的天(0~6,0為星期天)。

cmd要執行的程式,程式被送入sh執行,這個shell只有USER,HOME,SHELL這三個環境變數

例子 :

#每天早上7點執行一次 /bin/ls :

0 7 * * * /bin/ls

在 12 月內, 每天的早上 6 點到 12 點中,每隔3個小時執行一次 /usr/bin/backup :

0 6-12/3 * 12 * /usr/bin/backup

週一到週五每天下午 5:00 寄一封信給 [email protected] :

0 17 * * 1-5 mail -s "hi" [email protected] < /tmp/maildata

每月每天的午夜 0 點 20 分, 2 點 20 分, 4 點 20 分....執行 echo "haha"

20 0-23/2 * * * echo "haha"

注意 :

當程式在你所指定的時間執行後,系統會寄一封信給你,顯示該程式執行的內容,若是你不希望收到這樣的信,請在每一行空一格之

後加上 > /dev/null 2>&1 即可

三、關於rsync命令格式及引數

1.命令格式

Rsync的命令格式可以為以下六種:

  rsync [OPTION]... SRC DEST

  rsync [OPTION]... SRC [[email protected]]HOST:DEST

  rsync [OPTION]... [[email protected]]HOST:SRC DEST

  rsync [OPTION]... [[email protected]]HOST::SRC DEST

  rsync [OPTION]... SRC [[email protected]]HOST::DEST

  rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]

  對應於以上六種命令格式,rsync有六種不同的工作模式:

  1)拷貝本地檔案。當SRC和DES路徑資訊都不包含有單個冒號":"分隔符時就啟動這種工作模式。如:rsync -a /data /backup

  2)使用一個遠端shell程式(如rsh、ssh)來實現將本地機器的內容拷貝到遠端機器。當DST路徑地址包含單個冒號":"分隔符時啟動該模式。如:rsync -avz *.c foo:src

  3)使用一個遠端shell程式(如rsh、ssh)來實現將遠端機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號":"分隔符時啟動該模式。如:rsync -avz foo:src/bar /data

  4)從遠端rsync伺服器中拷貝檔案到本地機。當SRC路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av [email protected]::www /databack

  5)從本地機器拷貝檔案到遠端rsync伺服器中。當DST路徑資訊包含"::"分隔符時啟動該模式。如:rsync -av /databack [email protected]::www

  6)列遠端機的檔案列表。這類似於rsync傳輸,不過只要在命令中省略掉本地機資訊即可。如:rsync -v rsync://172.16.78.192/www

2.引數解釋

rsync引數的具體解釋如下:

-v, --verbose 詳細模式輸出

-q, --quiet 精簡輸出模式

-c, --checksum 開啟校驗開關,強制對檔案傳輸進行校驗

-a, --archive 歸檔模式,表示以遞迴方式傳輸檔案,並保持所有檔案屬性,等於-rlptgoD

-r, --recursive 對子目錄以遞迴模式處理

-R, --relative 使用相對路徑資訊

-b, --backup 建立備份,也就是對於目的已經存在有同樣的檔名時,將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。

--backup-dir 將備份檔案(如~filename)存放在在目錄下。

-suffix=SUFFIX 定義備份檔案字首

-u, --update 僅僅進行更新,也就是跳過所有已經存在於DST,並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案)

-l, --links 保留軟鏈結

-L, --copy-links 想對待常規檔案一樣處理軟鏈結

--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結

--safe-links 忽略指向SRC路徑目錄樹以外的鏈結

-H, --hard-links 保留硬鏈結

-p, --perms 保持檔案許可權

-o, --owner 保持檔案屬主資訊

-g, --group 保持檔案屬組資訊

-D, --devices 保持裝置檔案資訊

-t, --times 保持檔案時間資訊

-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間

-n, --dry-run現實哪些檔案將被傳輸

-W, --whole-file 拷貝檔案,不進行增量檢測

-x, --one-file-system 不要跨越檔案系統邊界

-B, --block-size=SIZE 檢驗演算法使用的塊尺寸,預設是700位元組

-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步

--rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊

-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案,用來排除那些不希望傳輸的檔案

--existing 僅僅更新那些已經存在於DST的檔案,而不備份那些新建立的檔案

--delete 刪除那些DST中SRC沒有的檔案

--delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案

--delete-after 傳輸結束以後再刪除

--ignore-errors 及時出現IO錯誤也進行刪除

--max-delete=NUM 最多刪除NUM個檔案

--partial 保留那些因故沒有完全傳輸的檔案,以是加快隨後的再次傳輸

--force 強制刪除目錄,即使不為空

--numeric-ids 不將數字的使用者和組ID匹配為使用者名稱和組名

--timeout=TIME IP超時時間,單位為秒

-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案

--size-only 當決定是否要備份檔案時,僅僅察看檔案大小而不考慮檔案時間

--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗,預設為0

-T --temp-dir=DIR 在DIR中建立臨時檔案

--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份

-P 等同於 --partial

--progress 顯示備份過程

-z, --compress 對備份的檔案在傳輸時進行壓縮處理

--exclude=PATTERN 指定排除不需要傳輸的檔案模式

--include=PATTERN 指定不排除而需要傳輸的檔案模式

--exclude-from=FILE 排除FILE中指定模式的檔案

--include-from=FILE 不排除FILE指定模式匹配的檔案

--version 列印版本資訊

--address 繫結到特定的地址

--config=FILE 指定其他的配置檔案,不使用預設的rsyncd.conf檔案

--port=PORT 指定其他的rsync服務埠

--blocking-io 對遠端shell使用阻塞IO

-stats 給出某些檔案的傳輸狀態

--progress 在傳輸時現實傳輸過程

--log-format=formAT 指定日誌檔案格式

--password-file=FILE 從FILE中得到密碼

--bwlimit=KBPS 限制I/O頻寬,KBytes per second

-h, --help 顯示幫助資訊