遠程文件同步詳解(Remote File Sync)
1. 遠程文件同步的常見方式:
1、cron + rsync
優點: 簡單
缺點:定時執行,實時性比較差;另外,rsync同步數據時,需要掃描所有文件後進行比對,進行差量傳輸。如果文件數量達到了百萬甚至千萬量級,掃描所有文件將是非常耗時的。遠程對比時發送所有的文件樹or目錄樹屬性,而且正在發生變化的往往是其中很少的一部分,這是非常低效的方式。
2. inotify + rsync
優點:比較簡單
缺點:每個變更文件都使用了rsync。而每一次rsync都要建立SSH鏈接,這個其實是比較費時間的。文件頻繁更新會產生不必要的rsync、進程or線程,比如不支持批量定時同步等。
3. lsyncd (python版本叫inosync)
優點:實時性高,速率可控,兼容了rsync協議,以及lua語言的靈活高效。
缺點:需要了解inotify,rsync的原理、運用,需要多引入一個lua,定制業務稍復雜。
4. Linux watchdog 事件監控文件
缺點:過於底層
5. 使用sersync , lipsync等類似工具
缺點:不利於統一標準運維,可自行研究
2. 幾大實時同步工具比較
2.1 inotify + rsync
最近一直在尋求生產服務服務器上的同步替代方案,原先使用的是inotify + rsync
,但隨著文件數量的增大到100W+,目錄下的文件列表就達20M,在網絡狀況不佳或者限速的情況下,變更的文件可能10來個才幾M,卻因此要發送的文件列表就達20M,嚴重減低的帶寬的使用效率以及同步效率;更為要緊的是,加入inotifywait在5s內監控到10個小文件發生變化,便會觸發10個rsync同步操作,結果就是真正需要傳輸的才2-3M的文件,比對的文件列表就達200M。使用這兩個組合的好處在於,它們都是最基本的軟件,可以通過不同選項做到很精確的控制,比如排除同步的目錄,同步多個模塊或同步到多個主機。
搭建過程參考 Linux下同步工具inotify+rsync使用詳解 。
2.2 sersync2
後來聽同事說 sersync 這麽個工具可以提高同步的性能,也解決了同步大文件時出現異常的問題,所以就嘗試了一下。sersync是國內的一個開發者開源出來的,使用c++編寫,采用多線程的方式進行同步,失敗後還有重傳機制,對臨時文件過濾,自帶crontab定時同步功能。網上看到有人說性能還不錯,說一下我的觀點:
- 國產開源,文檔不是很全,在2011年之後就沒更新了(googlecode都要快關閉了,其實可以轉交其他人維護),網上關於它的使用和討論都止於10年了
- 采用xml配置文件的方式,可讀性比較好,但是有些原生的有些功能沒有實現就沒法使用了
- 無法實現多目錄同步,只能通過多個配置文件啟動多個進程
- 文件排除功能太弱。這個要看需求,不是每個人都需要排除子目錄。而對於我的環境中,這個功能很重要,而且排除的規則較多
- 雖然提供插件的功能,但很雞肋,因為軟件本身沒有持續更新,也沒有看到貢獻有其它插件出現(可能是我知識面不夠,還用不到裏面的refreshCDN plugin)。
- 只要執行rsync命令,就會對整個目錄進行遍歷,發送要比對的文件列表,然後再發送變化的文件。sersync只是減少了監聽的事件,減少了rsync的次數——這已經是很大的改進,但每次rsync沒辦法改變。目前使用
sersync2
沒什麽問題,而且看了它的設計思路應該是比較科學的,特別是過濾隊列的設計。雙向同步看起來也是可以實現, 只是使用的不多。
2.3 lsyncd
廢話說這麽多,本文就是介紹它了。有些博客說lsyncd是谷歌開源的,實際不是了,只是托管在了googlecode上而已,幸運的是已經遷移到github了:https://github.com/axkibe/lsyncd 。
Lysncd 實際上是lua語言封裝了 inotify 和 rsync 工具,采用了 Linux 內核(2.6.13 及以後)裏的 inotify 觸發機制,然後通過rsync去差異同步,達到實時的效果。我認為它最令人稱道的特性是,完美解決了 inotify + rsync
海量文件同步帶來的文件頻繁發送文件列表的問題 —— 通過時間延遲或累計觸發事件次數實現。另外,它的配置方式很簡單,lua本身就是一種配置語言,可讀性非常強。lsyncd也有多種工作模式可以選擇,本地目錄cp,本地目錄rsync,遠程目錄rsyncssh。
實現簡單高效的本地目錄同步備份(網絡存儲掛載也當作本地目錄),一個命令搞定。
3. 使用 lsyncd 本地目錄實時備份
這一節實現的功能是,本地目錄source實時同步到另一個目錄target,而在source下有大量的文件,並且有部分目錄和臨時文件不需要同步。
3.1 安裝lsyncd
安裝lsyncd
極為簡單,已經收錄在ubuntu的官方鏡像源裏,直接通過apt-get install lsyncd
就可以。
在Redhat系,可以手動去下載安裝,但首先你得安裝兩個依賴yum install lua lua-devel
。也可以通過在線安裝,需要epel-release
擴展包:
1
|
|
源碼編譯安裝
從源碼編譯安裝可以使用最新版的lsyncd程序,但必須要相應的依賴庫文件和編譯工具:yum install lua lua-devel asciidoc cmake
。
從 googlecode lsyncd 上下載的lsyncd-2.1.5.tar.gz
,直接./configure
、make && make install
就可以了。
從github上下載lsyncd-master.zip 的2.1.5版本使用的是 cmake 編譯工具,無法./configure
:
1
|
# uzip lsyncd-master.zip
|
我這個版本編譯時有個小bug,如果按照INSTALL
在build
目錄中make,會提示:
1
|
[100%] Generating doc/lsyncd.1
|
解決辦法是要麽直接在解壓目錄下cmake,不要mkdir build
,要麽在CMakeList.txt
中搜索doc
字符串,在前面加上${PROJECT_SOURCE_DIR}
。
3.2 lsyncd.conf
下面都是在編譯安裝的情況下操作。
3.2.1 lsyncd同步配置
1
|
# cd /usr/local/lsyncd-2.1.5
|
到這啟動 lsycnd 就可以完成實時同步了,默認的許多參數可以滿足絕大部分需求,非常簡單。
3.2.2 lsyncd.conf配置選項說明
settings
裏面是全局設置,--
開頭表示註釋,下面是幾個常用選項說明:
logfile
定義日誌文件stausFile
定義狀態文件nodaemon=true
表示不啟用守護模式,默認statusInterval
將lsyncd的狀態寫入上面的statusFile的間隔,默認10秒inotifyMode
指定inotify監控的事件,默認是CloseWrite
,還可以是Modify
或CloseWrite or Modify
maxProcesses
同步進程的最大個數。假如同時有20個文件需要同步,而maxProcesses = 8
,則最大能看到有8個rysnc進程maxDelays
累計到多少所監控的事件激活一次同步,即使後面的delay
延遲時間還未到
sync
裏面是定義同步參數,可以繼續使用maxDelays
來重寫settings的全局變量。一般第一個參數指定lsyncd
以什麽模式運行:rsync
、rsyncssh
、direct
三種模式:
-
default.rsync
:本地目錄間同步,使用rsync,也可以達到使用ssh形式的遠程rsync效果,或daemon方式連接遠程rsyncd進程;default.direct
:本地目錄間同步,使用cp
、rm
等命令完成差異文件備份;default.rsyncssh
:同步到遠程主機目錄,rsync的ssh模式,需要使用key來認證 -
source
同步的源目錄,使用絕對路徑。 -
target
定義目的地址.對應不同的模式有幾種寫法:/tmp/dest
:本地目錄同步,可用於direct
和rsync
模式172.29.88.223:/tmp/dest
:同步到遠程服務器目錄,可用於rsync
和rsyncssh
模式,拼接的命令類似於/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET
,剩下的就是rsync的內容了,比如指定username,免密碼同步172.29.88.223::module
:同步到遠程服務器目錄,用於rsync
模式
三種模式的示例會在後面給出。 -
init
這是一個優化選項,當init = false
,只同步進程啟動以後發生改動事件的文件,原有的目錄即使有差異也不會同步。默認是true
-
delay
累計事件,等待rsync同步延時時間,默認15秒(最大累計到1000個不可合並的事件)。也就是15s內監控目錄下發生的改動,會累積到一次rsync同步,避免過於頻繁的同步。(可合並的意思是,15s內兩次修改了同一文件,最後只同步最新的文件) excludeFrom
排除選項,後面指定排除的列表文件,如excludeFrom = "/etc/lsyncd.exclude"
,如果是簡單的排除,可以使用exclude = LIST
。
這裏的排除規則寫法與原生rsync有點不同,更為簡單:- 監控路徑裏的任何部分匹配到一個文本,都會被排除,例如
/bin/foo/bar
可以匹配規則foo
- 如果規則以斜線
/
開頭,則從頭開始要匹配全部 - 如果規則以
/
結尾,則要匹配監控路徑的末尾 ?
匹配任何字符,但不包括/
*
匹配0或多個字符,但不包括/
**
匹配0或多個字符,可以是/
- 監控路徑裏的任何部分匹配到一個文本,都會被排除,例如
delete
為了保持target與souce完全同步,Lsyncd默認會delete = true
來允許同步刪除。它除了false
,還有startup
、running
值,請參考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior。
rsync
(提示一下,delete
和exclude
本來都是rsync的選項,上面是配置在sync中的,我想這樣做的原因是為了減少rsync的開銷)
bwlimit
限速,單位kb/s,與rsync相同(這麽重要的選項在文檔裏竟然沒有標出)compress
壓縮傳輸默認為true
。在帶寬與cpu負載之間權衡,本地目錄同步可以考慮把它設為false
perms
默認保留文件權限。- 其它rsync的選項
其它還有rsyncssh模式獨有的配置項,如host
、targetdir
、rsync_path
、password_file
,見後文示例。rsyncOps={"-avz","--delete"}
這樣的寫法在2.1.*版本已經不支持。
lsyncd.conf
可以有多個sync
,各自的source,各自的target,各自的模式,互不影響。
3.3 啟動lsyncd
使用命令加載配置文件,啟動守護進程,自動同步目錄操作。
lsyncd -log Exec /usr/local/lsyncd-2.1.5/etc/lsyncd.conf
3.4 lsyncd.conf其它模式示例
以下配置本人都已經過驗證可行,必須根據實際需要裁剪配置:
1
|
settings {
|
上面的內容幾乎涵蓋了所有同步的模式,其中第III
個要求像rsync一樣配置rsyncd服務端,見本文開頭。第IV
、V
配置ssh方式同步,達到的效果相同,但實際同步時你會發現每次同步都會提示輸入ssh的密碼,可以通過以下方法解決:
在遠端被同步的服務器上開啟ssh無密碼登錄,請註意用戶身份:
1
|
user$ ssh-keygen -t rsa
|
把id_rsa
私鑰拷貝到執行lsyncd的機器上
1
|
user$ chmod 600 ~/.ssh/id_rsa
|
4. 高級用法
可以用lua靈活coding:
module_name = "comos" origin_base_dir = "/data1/ms" path_list = { "/template", "/template.test", "/resource", } for _, server in ipairs(target_ip_list) do for _, path in ipairs(path_list) do print( origin_base_dir..path ,‘ => ‘ , server .. "::" .. module_name..path) sync { default.rsync, source = origin_base_dir..path, target = server .. "::" .. module_name..path , rsync = { binary = "/usr/bin/rsync", _extra = {"-avuz", "--omit-dir-times","--delay-updates", "--exclude","*.git", "--exclude","*.svn"} } } end end
5. lsyncd的其它功能
lsyncd
的功能不僅僅是同步,官方手冊 Lsyncd 2.1.x ‖ Layer 2 Config ‖ Advanced onAction 高級功能提到,還可以監控某個目錄下的文件,根據觸發的事件自己定義要執行的命令,example是監控某個某個目錄,只要是有jpg、gif、png格式的文件參數,就把它們轉成pdf,然後同步到另一個目錄。正好在我運維的一個項目中有這個需求,現在都是在java代碼裏轉換,還容易出現異常,通過lsyncd可以代替這樣的功能。但,門檻在於要會一點點lua語言(根據官方example還是可以寫出來)。
另外偶然想到個問題,同時設置了maxDelays
和delay
,當監控目錄一直沒有文件變化了,也會發生同步操作,雖然沒有可rsync的文件。
遠程文件同步詳解(Remote File Sync)