Shell腳步攻略之管道重定向基礎(chǔ)

1.8.1 匿名管道"|"

管道符號意如其名，類似管道一樣將管道入口的數(shù)據(jù)通過管道傳遞給管道出口。

管道是為了解決進程間通信問題而存在，它可以讓兩個進程之間的數(shù)據(jù)進行傳遞，將一個進程的輸出數(shù)據(jù)傳遞給另一個進程作為其輸入數(shù)據(jù)。管道左邊是數(shù)據(jù)給予方，管道右邊是數(shù)據(jù)接收方。

例如echo "abcd" | passwd --stdin username，表示將進程echo的輸出結(jié)果"abcd"作為進程passwd的輸入數(shù)據(jù)。

基本的管道符號及其用法很容易理解?，F(xiàn)在的疑問是，對于ps aux | grep "ssh" ，為什么在結(jié)果里會有g(shù)rep進程出現(xiàn)？

[root@xuexi ~]# ps aux | grep ssh
root    1211 0.0 0.1 82544 3600 ?    Ss  Jul26  0:00 /usr/sbin/sshd -D
root   25236 0.0 0.2 145552 5524 ?    Ss  05:28  0:00 sshd: root@pts/0
root   25720 0.1 0.2 145416 5524 ?    Ss  06:15  0:00 sshd: root@pts/1
root   25770 0.0 0.0 112648  948 pts/1  S+  06:15  0:00 grep --color=auto ssh

按一般想法，先執(zhí)行了ps，得到輸出后將輸出數(shù)據(jù)傳遞給grep，這時候grep還沒運行而ps已經(jīng)運行完畢了，為什么還能統(tǒng)計到grep進程的信息呢？原因是管道實現(xiàn)的是進程間通信，兩個進程之間存在交叉，在運行ps進程后開始收集進程信息，grep也已經(jīng)開始并處于等待接收數(shù)據(jù)狀態(tài)，當(dāng)ps收集到任何數(shù)據(jù)后都將輸出放入內(nèi)存由管道傳遞給grep進行篩選。

管道其本質(zhì)是數(shù)據(jù)傳遞，管道左邊的輸出數(shù)據(jù)放入內(nèi)存，由管道右邊的進程讀取。假如內(nèi)存不足以完全存放輸出數(shù)據(jù)，則管道左邊的進程將一直等待，直到管道右邊取出內(nèi)存中一部分的數(shù)據(jù)以讓管道左邊的進程繼續(xù)輸出，而管道右邊的進程在管道左邊的進程啟動后也立刻啟動了，但是它一直處于等待狀態(tài)，等待接收管道傳遞來的數(shù)據(jù)。

也就是說，管道左右兩邊的進程運行幾乎是沒有先后順序的。

那么ps aux | grep "ssh"如何避免結(jié)果中出現(xiàn)grep自身的進程呢？方法有二：

方法一：ps aux | grep "ssh" | grep -v "grep"

方法二：ps aux | grep "ss[h]"

[root@xuexi ~]# ps aux | grep ss[h]
root    1211 0.0 0.1 82544 3600 ?    Ss  Jul26  0:00 /usr/sbin/sshd -D
root   25236 0.0 0.2 145552 5524 ?    Ss  05:28  0:00 sshd: root@pts/0
root   25720 0.0 0.2 145416 5524 ?    Ss  06:15  0:00 sshd: root@pts/1

方法一是應(yīng)用grep的"-v"特性，方法二是應(yīng)用正則表達式的特性。

在使用匿名管道的過程中，可能已經(jīng)發(fā)現(xiàn)管道兩邊的進程是同屬一個進程組的，也就是說管道左方的數(shù)據(jù)只能傳遞給管道右方的進程，其他任何進程都沒法讀取此數(shù)據(jù)。但除了匿名管道，還有命名管道，命名管道是將一個進程的數(shù)據(jù)存儲到一個管道文件(fifo)中，其他進程可以讀取該管道文件來讀取其中的數(shù)據(jù)，也就是說不再限制數(shù)據(jù)讀取方。關(guān)于命名管道，請參閱Linux/unix操作系統(tǒng)內(nèi)核或編程類的書籍，一般都會有詳細(xì)的介紹。

1.8.2 重定向

1.8.2.1 重定向基礎(chǔ)

最常見的標(biāo)準(zhǔn)輸入（stdin）、標(biāo)準(zhǔn)輸出（stdout）和標(biāo)準(zhǔn)錯誤輸出（stderr）的文件描述符分別是0、1和2，其中0、1、2也可以認(rèn)為是它們的數(shù)字代號。對于輸出信息，可以認(rèn)為是打印在屏幕上的信息，而沒給出錯誤的就是標(biāo)準(zhǔn)輸出，給出錯誤提示的是標(biāo)準(zhǔn)錯誤輸出，當(dāng)然這樣說明有失偏頗，但是易于理解。還可以自定義自己的描述符，實現(xiàn)高級重定向，在以后的文章中可能會介紹一下它們的用法。

標(biāo)準(zhǔn)輸入 = /dev/stdin   = 代號0 = 或符號。

標(biāo)準(zhǔn)輸出 = /dev/stdout = 代號1 = >或>>符號。

標(biāo)準(zhǔn)錯誤輸出 = /dev/stderr = 代號2 = 使用2>或2>>符號。

、>、2>實現(xiàn)的是覆蓋功能，>>、2>>實現(xiàn)的是追加的功能，但是不是追加功能，而是表示此處生成文檔(here document)，在后面cat和重定向配合的內(nèi)容里有說明。此外，還有，它表示此處字符串(here string)，也見下文。

有時候，使用"-"也表示/dev/stdin。如：

[root@xuexi ~]# cat /etc/fstab | cat -

腳本中常見2>1和>的符號，它們都表示將stdout和stderr都重定向到同一個地方去，即重定向所有輸出內(nèi)容。如最常見的"> /dev/null"。

將stdout或stderr丟到/dev/null表示丟棄輸出信息，反過來，將/dev/null重定向到某個文件則表示清空文件。

[root@xuexi ~]# cat /dev/null > ab.sh

除此，還有以下幾種方法快速清空文件

[root@xuexi ~]# > ab.sh
[root@xuexi ~]# : > ab.sh       # 或"true >ab.sh"，其實它們都等價于">ab.sh"
[root@xuexi ~]# echo '' > ab.sh
[root@xuexi ~]# truncate -s 0 ab.sh  # truncate命令用于收縮和擴展文件大小
[root@xuexi ~]# dd if=/dev/null of=ab.sh

最后最重要的一點：在有重定向符號的語句中，命令執(zhí)行之前已經(jīng)將文件截斷了。所以如果正在編輯一個文件并將編輯的結(jié)果重定向回這個文件將出現(xiàn)異常，因為截斷后就沒有合適的內(nèi)容用于編輯。一個簡單的示例如下：

[root@xuexi ~]# head a.log > a.log

有些時候直接使用">"覆蓋輸出是比較危險的?？梢允褂胹et -C來設(shè)置如果輸出重定向文件已經(jīng)存在則不覆蓋。使用set +C來取消set -C的效果。如果在設(shè)置了set -C時仍然想強制覆蓋，可以使用“>|”代替“>”來重定向輸出。同理錯誤輸出也有此特性。

[root@xuexi tmp]# set -C
[root@xuexi tmp]# cat flip >ttt.txt
-bash: ttt.txt: cannot overwrite existing file
[root@xuexi tmp]# cat flip >| ttt.txt
[root@xuexi tmp]# set +C

1.8.2.2 cat和重定向配合

配合cat使用可以分行輸入內(nèi)容到文件中。

[root@xuexi tmp]# cat eof>log.txt  # 覆蓋的方式輸入到log.txt
> this is stdin character
> eof

也可以使用下面的方法。

[root@xuexi tmp]# cat >log1.txt eof 
> this is stdin character first!
> eof

一方面，eof部分都必須使用"eof"，它表示here document，此后輸入的內(nèi)容都作為一個document輸入給cat。既然是document，那就肯定有document結(jié)束符標(biāo)記document到此結(jié)束，結(jié)束符使用的是here document后的字符，例如此處為eof。其實不使用eof，使用其他字符也是一樣的，但document的結(jié)束符也必須要隨之改變。如：

[root@xuexi ~]# cat abcx
> 123
> 345
> abcx
123
345

另一方面，>log1.txt表示將document的內(nèi)容覆蓋到log1.txt文件中，如果是要追加，則使用>>log1.txt。所以，追加的方式如下：

[root@xuexi tmp]# cat >>log1.txt eof 
> this is stdin character first!
> eof

或

[root@xuexi tmp]# cat eof>>log1.txt 
> this is stdin character first!
> eof

1.8.2.3 tee雙重定向

可以使用tee雙重定向。一般情況下，重定向要么將信息輸入到文件中，要么輸出到屏幕上，但是既想輸出到屏幕又想輸出到文件就比較麻煩。使用tee的雙重定向功能可以實現(xiàn)該想法。如圖。

tee [-a] file

選項說明：

    -a：默認(rèn)是將輸出覆蓋到文件中，使用該選項將變?yōu)樽芳有袨椤?/p>

    file：除了輸出到標(biāo)準(zhǔn)輸出中，還將輸出到file中。如果file為"-"，則表示再輸入一次到標(biāo)準(zhǔn)輸出中。

例如下面的代碼，將a開頭的文件內(nèi)容全部保存到b.log，同時把副本交給后面的的cat，使用這個cat又將內(nèi)容保存到了x.log。其中"-"代表前面的stdin。

[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log

還可以直接輸出到屏幕：

[root@xuexi tmp]# cat a* | tee b.log | cat

tee默認(rèn)會使用覆蓋的方式保存到文件，可以使用-a選項來追加到文件。如：

[root@xuexi tmp]# cat a* | tee -a b.log | cat

現(xiàn)在就可以在使用cat和重定向創(chuàng)建文件或?qū)懭雰?nèi)容到文件的同時又可以在屏幕上顯示一份。

[root@xuexi tmp]# cat eof | tee ttt.txt
> x y
> z 1
> eof
x y
z 1

1.8.2.4 和

在bash中，和是特殊重定向符號。表示的是here document，表示的是here string。

here document在上文已經(jīng)解釋過了，對于here string，表示將后的字符串作為輸入數(shù)據(jù)。

例如：

passwd --stdin user  password_value

等價于：

echo password_value | passwd --stdin user

總結(jié)

以上所述是小編給大家介紹的Shell腳步攻略之管道重定向基礎(chǔ)，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！