每天一個linux命令：拷貝命令家族（cp、scp、rsync） — rsync

1. rsync功能

rsync — remote sync，rsync是Linux系統下的檔案同步和資料傳輸工具，可以將一個客戶機和遠端檔案伺服器之間的檔案同步，也可以在本地系統中將資料從一個分割槽備份到另一個分割槽上。如果rsync在備份過程中出現了資料傳輸中斷，恢復後可以繼續傳輸不一致的部分。rsync可以執行完整備份或增量備份，只同步有改變的部分，所以比scp命令更高效，但是rsync本身是一種非加密的傳輸，如果要進行加密傳輸可以使用“-e”選項來設定具備加密功能的承載工具進行加密傳輸。

主要特點有：

• 可以映象儲存整個目錄樹和檔案系統；
• 可以很容易做到保持原來檔案的許可權、時間、軟硬連結；無須特殊許可權即可安裝；
• 可以增量同步資料，檔案傳輸效率高，因而同步時間短；
• 可以使用rcp、ssh等方式來傳輸檔案，當然也可以通過直接的socket連線；
• 支援匿名傳輸，以方便進行網站鏡象等；
• 加密傳輸資料，保證了資料的安全性；

如果實驗ssh方式加密傳輸，使用rsync命令之前要保證服務端開啟了ssh server。

更多精彩請關注：www.zicreate.com

2．命令格式

rsync [OPTION]... SRC DEST
rsync [OPTION]... SRC [
 
[email protected]]HOST:DEST
rsync [OPTION]... [[email protected]]HOST:SRC DEST
rsync [OPTION]... [[email protected]]HOST::SRC DEST
rsync [OPTION]... SRC [[email protected]]HOST::DEST
rsync [OPTION]... rsync://[[email protected]]HOST[:PORT]/SRC [DEST]

對應於以上六種命令格式，rsync有六種不同的工作模式：

• a. 拷貝本地檔案。當SRC和DES路徑資訊都不包含有單個冒號”:”分隔符時就啟動這種工作模式。如：rsync -a /data /backup
• b. 使用一個遠端shell程式(如rsh、ssh)來實現將本地機器的內容拷貝到遠端機器。當DST路徑地址包含單個冒號”:”分隔符時啟動該模式。如：rsync -avz *.c foo:src
• c. 使用一個遠端shell程式(如rsh、ssh)來實現將遠端機器的內容拷貝到本地機器。當SRC地址路徑包含單個冒號”:”分隔符時啟動該模式。如：rsync -avz foo:src/bar /data
• d. 從遠端rsync伺服器中拷貝檔案到本地機。當SRC路徑資訊包含”::”分隔符時啟動該模式。如：rsync -av [email protected]::www /databack
• e. 從本地機器拷貝檔案到遠端rsync伺服器中。當DST路徑資訊包含”::”分隔符時啟動該模式。如：rsync -av /databack [email protected]::www
• f. 列遠端機的檔案列表。這類似於rsync傳輸，不過只要在命令中省略掉本地機資訊即可。如：rsync -v rsync://192.168.78.192/www

3．主要命令引數

-v, --verbose 詳細模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 開啟校驗開關，強制對檔案傳輸進行校驗
-a, --archive 歸檔模式，表示以遞迴方式傳輸檔案，並保持所有檔案屬性，等於-rlptgoD
-r, --recursive 對子目錄以遞迴模式處理
-R, --relative 使用相對路徑資訊
-b, --backup 建立備份，也就是對於目的已經存在有同樣的檔名時，將老的檔案重新命名為~filename。可以使用--suffix選項來指定不同的備份檔案字首。
--backup-dir 將備份檔案(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份檔案字首
-u, --update 僅僅進行更新，也就是跳過所有已經存在於DST，並且檔案時間晚於要備份的檔案。(不覆蓋更新的檔案)
-l, --links 保留軟鏈結
-L, --copy-links 想對待常規檔案一樣處理軟鏈結
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結
-H, --hard-links 保留硬鏈結
-p, --perms 保持檔案許可權
-o, --owner 保持檔案屬主資訊
-g, --group 保持檔案屬組資訊
-D, --devices 保持裝置檔案資訊
-t, --times 保持檔案時間資訊
-S, --sparse 對稀疏檔案進行特殊處理以節省DST的空間
-n, --dry-run現實哪些檔案將被傳輸
-W, --whole-file 拷貝檔案，不進行增量檢測
-x, --one-file-system 不要跨越檔案系統邊界
-B, --block-size=SIZE 檢驗演算法使用的塊尺寸，預設是700位元組
-e, --rsh=COMMAND 指定使用rsh、ssh方式進行資料同步
--rsync-path=PATH 指定遠端伺服器上的rsync命令所在路徑資訊
-C, --cvs-exclude 使用和CVS一樣的方法自動忽略檔案，用來排除那些不希望傳輸的檔案
--existing 僅僅更新那些已經存在於DST的檔案，而不備份那些新建立的檔案
--delete 刪除那些DST中SRC沒有的檔案
--delete-excluded 同樣刪除接收端那些被該選項指定排除的檔案
--delete-after 傳輸結束以後再刪除
--ignore-errors 及時出現IO錯誤也進行刪除
--max-delete=NUM 最多刪除NUM個檔案
--partial 保留那些因故沒有完全傳輸的檔案，以是加快隨後的再次傳輸
--force 強制刪除目錄，即使不為空
--numeric-ids 不將數字的使用者和組ID匹配為使用者名稱和組名
--timeout=TIME IP超時時間，單位為秒
-I, --ignore-times 不跳過那些有同樣的時間和長度的檔案
--size-only 當決定是否要備份檔案時，僅僅察看檔案大小而不考慮檔案時間
--modify-window=NUM 決定檔案是否時間相同時使用的時間戳視窗，預設為0
-I 為所有更新輸出一個更改摘要
-T --temp-dir=DIR 在DIR中建立臨時檔案
--compare-dest=DIR 同樣比較DIR中的檔案來決定是否需要備份
-P 等同於 --partial
--progress 顯示備份過程
-z, --compress 對備份的檔案在傳輸時進行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸的檔案模式
--include=PATTERN 指定不排除而需要傳輸的檔案模式
--exclude-from=FILE 排除FILE中指定模式的檔案
--include-from=FILE 不排除FILE指定模式匹配的檔案
--version 列印版本資訊
--address 繫結到特定的地址
--config=FILE 指定其他的配置檔案，不使用預設的rsyncd.conf檔案
--port=PORT 指定其他的rsync服務埠
--blocking-io 對遠端shell使用阻塞IO
-stats 給出某些檔案的傳輸狀態
--progress 在傳輸時現實傳輸過程
--log-format=formAT 指定日誌檔案格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O頻寬，KBytes per second
-h, --help 顯示幫助資訊

4．使用場景

rsync 的工作模式很多，支援本地同步，但是最常用的還是工作機與伺服器之間的檔案同步，下面著重介紹遠端同步功能。

場景1：從本地複製到遠端

我有一段時期的工作是進行Linux 顯示卡驅動的 backport，需要將驅動移植到各種OS上，而不同 OS 的或同一個OS的不同版本 kernel 是不一樣的，雖然可以通過硬碟分割槽保證工作資料穩定，但是由於版本太多，總有時候需要格式化整個硬碟，所以，我至少有2臺電腦可用，一臺作為開發機，一臺作為伺服器。

開發機可以隨便折騰，而伺服器專門用來儲存各種工作文件。每次在工作機上產生結果性的文件都會將檔案通過rsync同步到伺服器上；同樣，當開發機重新安裝OS後也會將伺服器的文件同步回開發機。

後來，我的另一個工作中管理的電腦數量更大了，程式迭代過程中不定時的需要將最新的程式部署到幾十臺電腦中，rsync 依然是我最喜歡的操作方式。

命令：

將workspace 目錄傳輸到遠端 /tmp/目錄下。

$ rsync -arvz --progress workspace [email protected]:/tmp/
[email protected]10.239.85.234's password:
sending incremental file list
workspace/
workspace/pingtime.py
        4265 100%    0.00kB/s    0:00:00 (xfer#1, to-check=14/21)
workspace/rpc_client.py
       12052 100%   11.49MB/s    0:00:00 (xfer#2, to-check=8/21)
workspace/transfromaton_file2config.py
        5943 100%    2.83MB/s    0:00:00 (xfer#3, to-check=4/21)

sent 10358 bytes  received 74 bytes  2980.57 bytes/sec
total size is 149791  speedup is 14.36

請注意！在上面的例項中，我指定的目錄名“workspace” 後面沒有跟 “/”，這種情況下會在遠端目錄“/tmp/”下建立同名目錄“workspace”。但是如果，我使用引數“workspace/”，那麼會將“workspace”目錄內的內容全部傳輸到指定目錄，而不會建立同名資料夾！

使用引數“workspace/”結果如下：

$ rsync -arvz --progress workspace/ root@10.239.85.234:/tmp/testdir
root@10.239.85.234's password:
sending incremental file list
./
README.md
        6071 100%    0.00kB/s    0:00:00 (xfer#1, to-check=19/21)
...省略其他...
sent 52900 bytes  received 380 bytes  11840.00 bytes/sec
total size is 149791  speedup is 2.81

總結：rsync命令使用中，如果源引數的末尾有斜線“/”，只會複製指定目錄的內容，而不復制目錄本身；如果沒有斜線，則會複製目錄本身，包括目錄。

場景2：從遠端複製到本地

場景1與場景2的操作是一樣的，唯一的區別僅在於 [源路徑] [目標路徑] 的定義不同而已，不再詳述。

場景3：傳輸時顯示變化的檔案

$ rsync -avzi --out-format='%i %n%L' workspace/ root@10.239.85.234:/tmp/testdir
root@10.239.85.234's password:
sending incremental file list
.d..t...... ./
<f.st...... config.ini
<f.st...... report-20171130024526.txt
.d..t...... cfg/
<f.st...... cfg/power_record.json

sent 988 bytes  received 94 bytes  144.27 bytes/sec
total size is 149791  speedup is 138.44

上面上命令在將本地檔案同步到遠端時會為所有更新輸出一個更改摘要。更詳細的解釋可以參考man手冊。

場景4：rsyncd 模式的使用

上面的場景中，我們能夠隨意進行檔案、目錄的備份與恢復；伺服器是我自己的，有帳號、密碼控制，並且在企業內部使用，所以，我不需要太關心安全性問題，上面那些場景已經能滿足我幾乎全部的需求了。

但是，接下來我們考慮另一個場景：
伺服器是Team內大家公用的，作為管理員，我們不希望大家太隨意，因為太隨意不僅影響資料安全性，並且久而久之伺服器內的檔案必然亂七八糟的無法維護。但是，我們又需要分配給不同的人一定的備份、訪問許可權，保證專案檔案都能及時彙總在一塊，並且能被需要的人員檢視。當然，要滿足這個需求有很多版本管理工具，但是我不打算分析各個工具的區別以及優缺點，下面我們只討論如何用rsync實現這一目標。

沒錯，我們需要的就是rsyncd 。

啟動 rsyncd 的方式就是在伺服器上啟動 rsync 時加上特定的幾個引數：

$ rsync –daemon –config=/etc/rsyncd.conf

沒錯，就這麼簡單。

那麼“–config=/etc/rsyncd.conf“ 是什麼？ 它就是rsync頭上的緊箍咒，保證rsync不再那麼任性。

（1） 檔案準備

檢視自己的電腦的/etc/目錄下是否有如下檔案，如果沒有的話建立即可（touch是建立命令）：

$ touch /etc/rsyncd.conf           #主配置檔案
$ touch /etc/rsyncd.secrets       #使用者名稱密碼檔案，一組使用者一行，使用者名稱和密碼使用 : 分割
$ touch /etc/rsyncd.motd          #非必須，連線上rsyncd顯示的歡迎資訊，此檔案可不建立

必須注意的是，rsyncd.secrets 密碼檔案許可權必須是600！

chmod 0600 /etc/rsyncd.secrets

編輯主配置檔案 rsyncd.conf：

######################################################################################################
#                      ******程序相關全域性配置******
######################################################################################################
#    pid file 守護程序pid檔案
pid file=/var/run/rsyncd.pid
#日誌相關
#    log file 指定rsync傳送訊息日誌檔案，而不是傳送給syslog，如果不填這個引數預設傳送給syslog
#    transfer logging 是否記錄傳輸檔案日誌
#    log format 日誌檔案格式
#    syslog facility rsync傳送訊息給syslog時的訊息級別，
#    timeout連線超時時間
log file=/var/log/rsyncd.log
transfer logging = yes
log format = %t %a %m %f %b
syslog facility = local3
timeout = 300

#  注：指定執行埠，預設是873，您可以自己指定；
port = 873
# 伺服器端傳輸檔案時，要發哪個使用者和使用者組來執行，預設是nobody。 使用者可以自己指定，我這裡直接使用root。
# 使用者名稱必須是本地系統中存在的使用者名稱
uid = root
gid = root
# 建議允許 chroot 提升安全性，yes 時收到連線會首先chroot到模組path引數指定的目錄下，這樣做的好處是可能保護系統被安裝漏洞侵襲的可能。缺點是需要 root 使用者許可權。另外對符號連結檔案，將會排除在外。也就是說，你在 rsync伺服器上，如果有符號連結，你在備份伺服器上執行客戶端的同步資料時，只會把符號連結名同步下來，並不會同步符號連結的內容；
# chroot為yes時必須使用root許可權。
use chroot = yes
#只讀
read only = no
#只寫
write only = no
#允許訪問rsyncd服務的ip，ip端或者單獨ip之間使用空格隔開，也可以為模組單獨指定hosts allow
hosts allow = 10.239.85.0/24
#不允許訪問rsyncd服務的ip，*是全部(不涵蓋在hosts allow中宣告的ip，注意和hosts allow的先後順序)
hosts deny = *
#客戶端最大連線數
max connections = 5
#歡迎檔案路徑，可選的
motd file = /etc/rsyncd.motd


######################################################################################################
#                      ******模組配置(多個)******
######################################################################################################
#模組 模組名稱必須使用[]環繞，比如要訪問data1,則地址應該是[email protected]::data1
[workspace]
    #模組根目錄，必須指定
    path=/home/test
    #是否允許列出模組裡的內容
    list=yes
    #忽略錯誤
    #ignore errors
    #預設情況下，client端不需要使用使用者名稱密碼。如果希望client使用特定的使用者名稱，密碼，可以增加類似下配置
    #多個使用者名稱由空格或逗號分隔。這裡的使用者和系統使用者沒有任何關係。
    auth users = user1, user2,
    #模組驗證密碼檔案 可放在全域性配置裡
    #使用者的名和密碼以明文方式存放在”secrets file”選項指定的檔案中。
    #檔案每行包含一個username:passwd對，passwd不要超過8個字元。
    secrets file=/etc/rsyncd.secrets
    #註釋
    comment = some description about this moudle
    #排除目錄，多個之間使用空格隔開
    exclude = test1/ test2/

[browser]
    auth users = zicreate, user2,
    path = /tmp/www
    hosts allow = 10.239.85.0/24

編輯密碼檔案 rsyncd.secrets ：

root:123456
user1:12345
user2:abcdef
zicreate:123456

編輯歡迎檔案rsyncd.motd：

歡迎來到知創學院（www.zicreate.com）,學習交流物聯網及智慧硬體開發的相關技術及經驗！

說明：即便已經啟動了rsyncd，修改上面的三個配置檔案也會被rsyncd自動感知。

（2）在客戶端測試

$ rsync  --list-only  [email protected]10.239.85.241::
歡迎來到知創學院（www.zicreate.com）,學習交流物聯網及智慧硬體開發的相關技術及經驗！

workspace       some description about this moudle

$ rsync  --list-only  [email protected]10.239.85.241::workspace
歡迎來到知創學院（www.zicreate.com）,學習交流物聯網及智慧硬體開發的相關技術及經驗！

Password:
drwxr-xr-x        4096 2017/12/11 04:37:11 .
-rw-r--r--         288 2017/10/18 05:43:27 config.ini
-rw-r--r--        1673 2017/10/18 05:28:23 file_receive.py
-rw-r--r--        1385 2017/10/18 05:11:33 file_send.py
drwxr-xr-x        4096 2017/12/11 03:25:20 work-0.2a


#備份資料夾到本地：

$ rsync -r [email protected]10.239.85.241::workspace ./
...此處省略過程...
注意： 上面的命令由於要同步的是workspace 整個資料夾，所以，必須新增-r引數，否則會出錯！

配置好上面的一切之後，我們再來試試還能不能任性的還原、備份了：

$ rsync -r root@10.239.85.241:/tmp/zicreate ./             #注： 目錄/tmp/zicreate 實際存在
success

如上所示，如果我們使用系統級的使用者名稱以及密碼依然能任性的備份、拷貝。
結論：

• rsyncd 只限制了 “[[email protected]]HOST::” 這種指令的訪問範圍。而[[email protected]]HOST:“”這樣的指令並不受限制。
• 如果我們不公開我們的系統級使用者名稱及密碼，而使用檔案 rsyncd.secrets 中定義的使用者名稱和密碼，這種情況下才能達到訪問控制的目的。
• “[[email protected]]HOST::” 這種指令對應 rsyncd 模式。

場景5：自動檔案備份

為了實現定時備份，可以將rsync 與crontab 配合使用，或者更簡單的方法寫一個指令碼每隔一定時間同步一次。同時，自動備份時需要解決自動輸入密碼的問題，這個可以使用expect 解決，具體實現如下所示：

注： 本例為了簡化問題將密碼直接寫在了檔案中，實際使用時最好將密碼寫入臨時環境變數中。

#!/bin/bash

passwd=12345

/usr/bin/expect << EOF
set time 100
spawn rsync -avzr [email protected]10.239.85.241::workspace  workspace
expect {
    "*assword:" {
        send "$passwd\r"
        exp_continue
    }

    "yes/no)?" {
        send "yes\r"
        exp_continue
    }

    timeout {
        close
        break
    }

    eof {
        exit 0
    }
}
interact
EOF

crontab 、expect 、iptables 防火牆、chroot、環境變數配置密碼以及指令碼開機啟動等將在後面慢慢講解，畢竟每一個都不簡單。

本文到此結束。

擴充套件

Linux 防火牆是用iptables，所以如果防火牆限制了我們對 rsync 服務埠的訪問，可以通過修改防火牆路由規則處理（伺服器、客戶端都需要開發該埠）。處理方法如下：

#iptables -A INPUT -p tcp -m state --state NEW  -m tcp --dport 873 -j ACCEPT
#iptables -L  檢視一下防火牆是不是打開了 873埠

在實驗階段甚至可以直接關閉防火牆：

# service firewalld stop

最後：rsync 功能非常複雜，本文屬於入門教程，更多高階、複雜運用請參考：http://rsync.samba.org/