主頁 > 知識(shí)庫 > linux rsync同步命令(值得收藏)

linux rsync同步命令(值得收藏)

熱門標(biāo)簽:鶴崗400電話申請(qǐng) 外呼電話系統(tǒng)怎么操作 百度地圖標(biāo)注直線距離 天津電話外呼系統(tǒng)排名 怎么在百度地圖標(biāo)注公司的位置 測(cè)繪地圖標(biāo)注名稱 智能電銷機(jī)器人有用嗎 德陽400電話申請(qǐng) 商機(jī)地圖標(biāo)注

 如果你是一位運(yùn)維工程師,你很可能會(huì)面對(duì)幾十臺(tái)、幾百臺(tái)甚至上千臺(tái)服務(wù)器,除了批量操作外,環(huán)境同步、數(shù)據(jù)同步也是必不可少的技能。

說到“同步”,不得不提的利器就是rsync,今天就來說說我從這個(gè)工具中看到的同步的藝術(shù)。

[不帶任何選項(xiàng)]

我們經(jīng)常這樣使用rsync:

復(fù)制代碼 代碼如下:

$ rsync main.c machineB:/home/userB

1 只要目的端的文件內(nèi)容和源端不一樣,就會(huì)觸發(fā)數(shù)據(jù)同步,rsync會(huì)確保兩邊的文件內(nèi)容一樣。

2 但rsync不會(huì)同步文件的“modify time”,凡是有數(shù)據(jù)同步的文件,目的端的文件的“modify time”總是會(huì)被修改為最新時(shí)刻的時(shí)間。

3 rsync不會(huì)太關(guān)注目的端文件的rwx權(quán)限,如果目的端沒有此文件,那么權(quán)限會(huì)保持與源端一致;如果目的端有此文件,則權(quán)限不會(huì)隨著源端變更。

4 只要rsync有對(duì)源文件的讀權(quán)限,且對(duì)目標(biāo)路徑有寫權(quán)限,rsync就能確保目的端文件同步到和源端一致。

5 rsync只能以登陸目的端的賬號(hào)來創(chuàng)建文件,它沒有能力保持目的端文件的輸主和屬組和源端一致。(除非你使用root權(quán)限,才有資格要求屬主一致、屬組一致)

[-t選項(xiàng)]

我們經(jīng)常這樣使用-t選項(xiàng):

復(fù)制代碼 代碼如下:

$ rsync -t main.c machineB:/home/userB

1 使用-t選項(xiàng)后,rsync總會(huì)想著一件事,那就是將源文件的“modify time”同步到目標(biāo)機(jī)器。

2 帶有-t選項(xiàng)的rsync,會(huì)變得更聰明些,它會(huì)在同步前先對(duì)比兩邊文件的時(shí)間戳和文件大小,如果一致,則就認(rèn)為兩邊文件一樣,對(duì)此文件就不再采取更新動(dòng)作了。

3 因?yàn)閞sync的聰明,也會(huì)反被聰明誤。如果目的端的文件的時(shí)間戳、大小和源端完全一致,但是內(nèi)容恰巧不一致時(shí),rsync是發(fā)現(xiàn)不了的。這就是傳說中的“坑”!

4 對(duì)于rsync自作聰明的情況,解決辦法就是使用-I選項(xiàng)。

[-I選項(xiàng)]

我們經(jīng)常這樣使用-I選項(xiàng):

復(fù)制代碼 代碼如下:

$ rsync -I main.c machineB:/home/userB

1 -I選項(xiàng)會(huì)讓rsync變得很乖很老實(shí),它會(huì)挨個(gè)文件去發(fā)起數(shù)據(jù)同步。

2 -I選項(xiàng)可以確保數(shù)據(jù)的一致性,代價(jià)便是速度上會(huì)變慢,因?yàn)槲覀兎艞壛恕皅uick check”策略。(quick check策略,就是先查看文件的時(shí)間戳和文件大小,依次先排除一批認(rèn)為相同的文件)

3 無論情況如何,目的端的文件的modify time總會(huì)被更新到當(dāng)前時(shí)刻。

【-v選項(xiàng)】

這個(gè)選項(xiàng),簡單易懂,就是讓rsync輸出更多的信息,我們可以舉一個(gè)例子:

$ rsync -vI main.c machineB:/home/userB                          
main.c
sent 81 bytes received 42 bytes 246.00 bytes/sec
total size is 11 speedup is 0.09

你增加越多的v,就可以獲得越多的日志信息。

$ rsync -vvvvt abc.c machineB:/home/userB 
cmd= machine=machineB user= path=/home/userB
cmd[0]=ssh cmd[1]=machineB cmd[2]=rsync cmd[3]=--server cmd[4]=-vvvvte. cmd[5]=. cmd[6]=/home/userB 
opening connection using: ssh machineB rsync --server -vvvvte. . /home/userB 
note: iconv_open("ANSI_X3.4-1968", "ANSI_X3.4-1968") succeeded.
(Client) Protocol versions: remote=28, negotiated=28
(Server) Protocol versions: remote=30, negotiated=28
[sender] make_file(abc.c,*,2)
[sender] flist start=0, used=1, low=0, high=0
[sender] i=0 abc.c mode=0100664 len=11 flags=0
send_file_list done
file list sent
send_files starting
server_recv(2) starting pid=31885
recv_file_name(abc.c)
received 1 names
[receiver] i=0  abc.c mode=0100664 len=11
recv_file_list done
get_local_name count=1 /home/userB
recv_files(1) starting
generator starting pid=31885 count=1
delta transmission enabled
recv_generator(abc.c,0)
abc.c is uptodate
generate_files phase=1
send_files phase=1
recv_files phase=1
generate_files phase=2
send files finished
total: matches=0 hash_hits=0 false_alarms=0 data=0
generate_files finished
recv_files finished
client_run waiting on 14318
sent 36 bytes received 16 bytes 104.00 bytes/sec
total size is 11 speedup is 0.21
_exit_cleanup(code=0, file=main.c, line=1031): entered
_exit_cleanup(code=0, file=main.c, line=1031): about to call exit(0)

[-z選項(xiàng)]

這是個(gè)壓縮選項(xiàng),只要使用了這個(gè)選項(xiàng),rsync就會(huì)把發(fā)向?qū)Χ说臄?shù)據(jù)先進(jìn)行壓縮再傳輸。對(duì)于網(wǎng)絡(luò)環(huán)境較差的情況下建議使用。

一般情況下,-z的壓縮算法會(huì)和gzip的一樣。

[-r選項(xiàng)]

我們?cè)诘谝淮问褂胷sync時(shí),往往會(huì)遇到這樣的囧境:

$ rsync superman machineB:/home/userB
skipping directory superman

如果你不額外告訴rsync你需要它幫你同步文件夾的話,它是不會(huì)主動(dòng)承擔(dān)的,這也正是rsync的懶惰之處。

所以,如果你真的想同步文件夾,那就要加上-r選項(xiàng),即recursive(遞歸的、循環(huán)的),像這樣:

$ rsync -r superman machineB:/home/userB

我們?cè)谏厦娴闹v解中說過,如果時(shí)間戳和文件大小完全一致,只有文件內(nèi)容不同,且你沒有使用-I選項(xiàng)的話,那么,rsync是不會(huì)進(jìn)行數(shù)據(jù)同步的。

那么,提個(gè)問題:“因?yàn)樵贚inux的世界里,文件夾也是文件,如果這類文件(文件夾)也只有內(nèi)容不同,而時(shí)間戳和文件大小都相同,rsync會(huì)發(fā)現(xiàn)么?”

實(shí)驗(yàn)大家可以自己動(dòng)手做,結(jié)論在這里告訴大家:

對(duì)于文件夾,rsync是會(huì)明察秋毫的,只要你加了-r選項(xiàng),它就會(huì)恪盡職守的進(jìn)入到文件夾里去檢查,而不會(huì)只對(duì)文件夾本身做“quick check”的。

[-l選項(xiàng)]

如果我們要同步一個(gè)軟鏈接文件,你猜rsync會(huì)提示什么?

$ ll
total 128
-rw-rw-r-- 1 userA userA 11 Dec 26 07:00 abc.c
lrwxrwxrwx 1 userA userA 5 Dec 26 11:35 softlink -> abc.c
$ rsync softlink machineB:/home/userB
skipping non-regular file "softlink"

嗯,你猜對(duì)了,rsync又無情地拒絕了我們。它一旦發(fā)現(xiàn)某個(gè)文件是軟鏈接,就會(huì)無視它,除非我們?cè)黾?l選項(xiàng)。

復(fù)制代碼 代碼如下:

$ rsync -l softlink machineB:/home/userB

使用了-l選項(xiàng)后,rsync會(huì)完全保持軟鏈接文件類型,原原本本的將軟鏈接文件復(fù)制到目的端,而不會(huì)“follow link”到指向的實(shí)體文件。

如果我偏偏就想讓rsync采取follow link的方式,那就用-L選項(xiàng)就可以了。你可以自己試試效果。

[-p選項(xiàng)]

這個(gè)選項(xiàng)的全名是“perserve permissions”,顧名思義,就是保持權(quán)限。

如果你不使用此選項(xiàng)的話,rsync是這樣來處理權(quán)限問題的:

1 如果目的端沒有此文件,那么在同步后會(huì)將目的端文件的權(quán)限保持與源端一致;

2 如果目的端已存在此文件,那么只會(huì)同步文件內(nèi)容,權(quán)限保持原有不變。

如果你使用了-p選項(xiàng),則無論如何,rsync都會(huì)讓目的端保持與源端的權(quán)限一致的。

[-g選項(xiàng)和-o選項(xiàng)]

這兩個(gè)選項(xiàng)是一對(duì),用來保持文件的屬組(group)和屬主(owner),作用應(yīng)該很清晰明了。不過要注意的一點(diǎn)是,改變屬主和屬組,往往只有管理員權(quán)限才可以。

[-D選項(xiàng)]

-D選項(xiàng),原文解釋是“preserve devices(root only)”,從字面意思看,就是保持設(shè)備文件的原始信息。由于博主沒有實(shí)際體驗(yàn)過它的好處,所以沒有太多發(fā)言權(quán)。

[-a選項(xiàng)]

1 -a選項(xiàng)是rsync里比較霸道的一個(gè)選項(xiàng),因?yàn)槟闶褂?a選項(xiàng),就相當(dāng)于使用了-rlptgoD這一坨選項(xiàng)。以一敵七,唯-a選項(xiàng)也。(在看了前文之后,你應(yīng)該可以很輕松的理解這七個(gè)選項(xiàng)的作用了)

2 -a選項(xiàng)的學(xué)名應(yīng)該叫做archive option,中文叫做歸檔選項(xiàng)。使用-a選項(xiàng),就表明你希望采取遞歸方式來同步,且盡可能的保持各個(gè)方面的一致性。

3 但是-a選項(xiàng)也有阿克琉斯之踵,那就是-a無法同步“硬鏈接”情況。如果有這方面需求,要加上-H選項(xiàng)。

[--delete選項(xiàng)、--delete-excluded選項(xiàng)和--delete-after選項(xiàng)]

三個(gè)選項(xiàng)都是和“刪除”有關(guān)的:

1 –delete:如果源端沒有此文件,那么目的端也別想擁有,刪除之。(如果你使用這個(gè)選項(xiàng),就必須搭配-r選項(xiàng)一起)

2 –delete-excluded:專門指定一些要在目的端刪除的文件。

3 –delete-after:默認(rèn)情況下,rsync是先清理目的端的文件再開始數(shù)據(jù)同步;如果使用此選項(xiàng),則rsync會(huì)先進(jìn)行數(shù)據(jù)同步,都完成后再刪除那些需要清理的文件。

看到這么多delete,你是否有點(diǎn)肝顫? 的確,在rsync的官方說明里也有這么一句話:

This option can be dangerous if used incorrectly! 
It is a very good idea to run first using the dry  run  option
(-n) to see what files would be deleted to make sure
important files aren't listed.

從這句話里,我們學(xué)到了一個(gè)小技巧,那就是-n選項(xiàng),它是一個(gè)嚇唬人的選項(xiàng),它會(huì)用受影響的文件列表來警告你,但不會(huì)真的去刪除,這就讓我們有了確認(rèn)的機(jī)會(huì)和回旋的余地。我們看看實(shí)際用法吧:

$ rsync -n --delete -r . machineB:/home/userB/
deleting superman/xxx
deleting main.c
deleting acclink

[--exclude選項(xiàng)和--exclude-from選項(xiàng)]

如果你不希望同步一些東西到目的端的話,可以使用–exclude選項(xiàng)來隱藏,rsync還是很重視大家隱私的,你可以多次使用–exclude選項(xiàng)來設(shè)置很多的“隱私”。

如果你要隱藏的隱私太多的話,在命令行選項(xiàng)中設(shè)置會(huì)比較麻煩,rsync還是很體貼,它提供了–exclude-from選項(xiàng),讓你可以把隱私一一列在一個(gè)文件里,然后讓rsync直接讀取這個(gè)文件就好了。

[--partial選項(xiàng)]

這就是傳說中的斷點(diǎn)續(xù)傳功能。默認(rèn)情況下,rsync會(huì)刪除那些傳輸中斷的文件,然后重新傳輸。但在一些特別情況下,我們不希望重傳,而是續(xù)傳。

我們?cè)谑褂弥?,?jīng)常會(huì)看到有人會(huì)使用-P選項(xiàng),這個(gè)選項(xiàng)其實(shí)是為了偷懶而設(shè)計(jì)的。以前人們總是要手動(dòng)寫–partial –progress,覺得太費(fèi)勁了,倒不如用一個(gè)新的選項(xiàng)來代替,于是-P應(yīng)運(yùn)而生了。有些讀者會(huì)問–partial我知道作用了,可–progress是干什么用的呢?為什么很多人要使用它呢,它有那么大的吸引力?(真有…)

[--progress選項(xiàng)]

使用這個(gè)選項(xiàng),rsync會(huì)顯示出傳輸進(jìn)度信息,有什么用呢,rsync給了一個(gè)很有意思的解釋:

This gives a bored user something to watch.

好了,寫了這么多,大家看的已經(jīng)很乏味了,去實(shí)際用用–progress解解悶,是個(gè)不錯(cuò)的選擇 ^_^

下面給大家介紹的是rsync參數(shù)的具體解釋:

-v, --verbose 詳細(xì)模式輸出
-q, --quiet 精簡輸出模式
-c, --checksum 打開校驗(yàn)開關(guān),強(qiáng)制對(duì)文件傳輸進(jìn)行校驗(yàn)
-a, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
-r, --recursive 對(duì)子目錄以遞歸模式處理
-R, --relative 使用相對(duì)路徑信息
-b, --backup 創(chuàng)建備份,也就是對(duì)于目的已經(jīng)存在有同樣的文件名時(shí),將老的文件重新命名為~filename。可以使用--suffix選項(xiàng)來指定不同的備份文件前綴。
--backup-dir 將備份文件(如~filename)存放在在目錄下。
-suffix=SUFFIX 定義備份文件前綴
-u, --update 僅僅進(jìn)行更新,也就是跳過所有已經(jīng)存在于DST,并且文件時(shí)間晚于要備份的文件。(不覆蓋更新的文件)
-l, --links 保留軟鏈結(jié)
-L, --copy-links 想對(duì)待常規(guī)文件一樣處理軟鏈結(jié)
--copy-unsafe-links 僅僅拷貝指向SRC路徑目錄樹以外的鏈結(jié)
--safe-links 忽略指向SRC路徑目錄樹以外的鏈結(jié)
-H, --hard-links 保留硬鏈結(jié)
-p, --perms 保持文件權(quán)限
-o, --owner 保持文件屬主信息
-g, --group 保持文件屬組信息
-D, --devices 保持設(shè)備文件信息
-t, --times 保持文件時(shí)間信息
-S, --sparse 對(duì)稀疏文件進(jìn)行特殊處理以節(jié)省DST的空間
-n, --dry-run現(xiàn)實(shí)哪些文件將被傳輸
-W, --whole-file 拷貝文件,不進(jìn)行增量檢測(cè)
-x, --one-file-system 不要跨越文件系統(tǒng)邊界
-B, --block-size=SIZE 檢驗(yàn)算法使用的塊尺寸,默認(rèn)是700字節(jié)
-e, --rsh=COMMAND 指定使用rsh、ssh方式進(jìn)行數(shù)據(jù)同步
--rsync-path=PATH 指定遠(yuǎn)程服務(wù)器上的rsync命令所在路徑信息
-C, --cvs-exclude 使用和CVS一樣的方法自動(dòng)忽略文件,用來排除那些不希望傳輸?shù)奈募?
--existing 僅僅更新那些已經(jīng)存在于DST的文件,而不備份那些新創(chuàng)建的文件
--delete 刪除那些DST中SRC沒有的文件
--delete-excluded 同樣刪除接收端那些被該選項(xiàng)指定排除的文件
--delete-after 傳輸結(jié)束以后再刪除
--ignore-errors 及時(shí)出現(xiàn)IO錯(cuò)誤也進(jìn)行刪除
--max-delete=NUM 最多刪除NUM個(gè)文件
--partial 保留那些因故沒有完全傳輸?shù)奈募?,以是加快隨后的再次傳輸
--force 強(qiáng)制刪除目錄,即使不為空
--numeric-ids 不將數(shù)字的用戶和組ID匹配為用戶名和組名
--timeout=TIME IP超時(shí)時(shí)間,單位為秒
-I, --ignore-times 不跳過那些有同樣的時(shí)間和長度的文件
--size-only 當(dāng)決定是否要備份文件時(shí),僅僅察看文件大小而不考慮文件時(shí)間
--modify-window=NUM 決定文件是否時(shí)間相同時(shí)使用的時(shí)間戳窗口,默認(rèn)為0
-T --temp-dir=DIR 在DIR中創(chuàng)建臨時(shí)文件
--compare-dest=DIR 同樣比較DIR中的文件來決定是否需要備份
-P 等同于 --partial
--progress 顯示備份過程
-z, --compress 對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理
--exclude=PATTERN 指定排除不需要傳輸?shù)奈募J?
--include=PATTERN 指定不排除而需要傳輸?shù)奈募J?
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 綁定到特定的地址
--config=FILE 指定其他的配置文件,不使用默認(rèn)的rsyncd.conf文件
--port=PORT 指定其他的rsync服務(wù)端口
--blocking-io 對(duì)遠(yuǎn)程shell使用阻塞IO
-stats 給出某些文件的傳輸狀態(tài)
--progress 在傳輸時(shí)現(xiàn)實(shí)傳輸過程
--log-format=formAT 指定日志文件格式
--password-file=FILE 從FILE中得到密碼
--bwlimit=KBPS 限制I/O帶寬,KBytes per second
-h, --help 顯示幫助信息
一般同步傳輸目錄都使用azv選項(xiàng).

您可能感興趣的文章:
  • Linux下使用Rsync完成自動(dòng)化備份
  • Linux 命令之rsync命令詳解
  • linux rsync安裝 配置 實(shí)例詳解
  • linux系統(tǒng)中rsync+inotify實(shí)現(xiàn)服務(wù)器之間文件實(shí)時(shí)同步
  • linux下通過rsync+inotify 實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)備份(遠(yuǎn)程容災(zāi)備份系統(tǒng))
  • linux rsync的安裝與配置
  • Linux 用cp和rsync同步文件時(shí)跳過指定目錄的方法
  • 用rsync實(shí)現(xiàn)windows與linux文件同步的方法
  • Linux 服務(wù)器同步 Rsync同步服務(wù)器文件
  • 如何使用Linux的rsync

標(biāo)簽:優(yōu)質(zhì)小號(hào) 百色 滁州 自貢 武漢 鎮(zhèn)江 六盤水 丹東

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《linux rsync同步命令(值得收藏)》,本文關(guān)鍵詞  linux,rsync,同步,命令,值得,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《linux rsync同步命令(值得收藏)》相關(guān)的同類信息!
  • 本頁收集關(guān)于linux rsync同步命令(值得收藏)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章