簡(jiǎn)單來(lái)說(shuō)，這個(gè)技巧對(duì)應(yīng)的是如下一種場(chǎng)景
假設(shè)有文本如下
復(fù)制代碼 代碼如下:
cccc
aaaa
bbbb
dddd
bbbb
cccc
aaaa
現(xiàn)在需要對(duì)它進(jìn)行去重處理，這個(gè)很簡(jiǎn)單，sort -u就可以搞定，但是如果我希望保持文本原有的順序，比如這里有兩個(gè)aaaa，我只是希望去掉第二個(gè)aaaa，而第一個(gè)aaaa在bbbb的前面，去重后仍舊要在它前面，所以我期望的輸出結(jié)果是
復(fù)制代碼 代碼如下:
cccc
aaaa
bbbb
dddd
當(dāng)然，這個(gè)問(wèn)題本身并不難，用C++或python寫(xiě)起來(lái)都很容易，但所謂殺機(jī)焉用牛刀，能用shell命令解決時(shí)，它永遠(yuǎn)都是我們的首選。答案在最后給出，下面說(shuō)說(shuō)我是如何想到這樣
我們有時(shí)候想把自己的目錄加入環(huán)境變量PATH時(shí)會(huì)在~/.bashrc文件中這樣寫(xiě)，比如待加入的目錄為$HOME/bin
復(fù)制代碼 代碼如下:
export PATH=$HOME/bin:$PATH
這樣我們等于是在PATH追加了路徑$HOME/bin并讓它在最前面被搜索到，但當(dāng)我們執(zhí)行source ~/.bashrc后，$HOME/bin目錄就會(huì)被加入PATH，如果我們下次再添加一個(gè)目錄，比如
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
再執(zhí)行source ~/.bashrc時(shí)，$HOME/bin目錄在PATH中其實(shí)會(huì)有兩份記錄，雖然這不影響使用，但對(duì)于一個(gè)強(qiáng)迫癥來(lái)說(shuō)，這是無(wú)法忍受的，于是問(wèn)題就變成了，我們需要去掉$PATH里重復(fù)的路徑，并且保持原有路徑順序不變，也就是原本誰(shuí)在前面，去重后仍舊在前面，因?yàn)樵趫?zhí)行shell命令時(shí)是從第一個(gè)路徑開(kāi)始查找的，所以順序很重要
好了，說(shuō)了這么多我們來(lái)揭示最終的結(jié)果，以文章開(kāi)始的數(shù)據(jù)為例，假設(shè)輸入文件是in.txt，命令如下
復(fù)制代碼 代碼如下:
cat -n in.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-
這些都是很簡(jiǎn)單的shell命令，下面稍作解釋
復(fù)制代碼 代碼如下:
cat -n in.txt : 輸出文本，并在前面加上行號(hào)，以\t分隔
sort -k2,2 -k1,1n : 對(duì)輸入內(nèi)容排序，primary key是第二個(gè)字段，second key是第一個(gè)字段并且按數(shù)字大小排序
uniq －f1 : 忽略第一列，對(duì)文本進(jìn)行去重，但輸出時(shí)會(huì)包含第一列
sort -k1,1n : 對(duì)輸入內(nèi)容排序，key是第一個(gè)字段并按數(shù)字大小排序
cut -f2- : 輸出第2列及之后的內(nèi)容，默認(rèn)分隔符為\t
大家可以從第一條命令開(kāi)始，并依次組合，看看實(shí)際輸出效果，那樣便更容易理解了。對(duì)于$PATH中的重復(fù)路徑又該如何處理呢，還是以前面的例子來(lái)說(shuō)，只需在前后用tr做一下轉(zhuǎn)換即可
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
其實(shí)這樣使用PATH會(huì)有個(gè)問(wèn)題，比如我們執(zhí)行了以上命令后，如果想去掉$HOME/bin這個(gè)路徑，僅僅修改為如下內(nèi)容是不夠的
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
因?yàn)槲覀円呀?jīng)將$HOME/bin加入了$PATH中，這樣做并沒(méi)有起到刪除的作用，也許最好的方式還是自己清楚的知道所有路徑，然后顯示指定，而不是采取追加的方式
您可能感興趣的文章:- python實(shí)現(xiàn)文本去重且不打亂原本順序
- 教新手使用java如何對(duì)一個(gè)大的文本文件內(nèi)容進(jìn)行去重
