我們聊聊linux的另一個文字處理工具Sed。

Sed簡介

sed：是一個編輯器，是一個強大的檔案處理工具。

sed作用：用來替換、刪除，更新檔案中的內容。sed能自動處理一個或多個檔案。

sed原理：sed以文字的行為單位進行處理，一次處理一行內容。首先sed把當前處理的行儲存在臨時緩衝區中（稱為模式空間pattern space），接著處理緩衝區中的行，處理完成後，把緩衝區的內容送往螢幕。sed處理完一行就將其從臨時緩衝區刪除，然後將下一行讀入，進行處理和顯示，這樣不斷的重複，直到檔案末尾。處理完檔案的最後一行後，sed便結束執行。因為sed是對檔案中每行在臨時緩衝區中的副本進行編輯，所以原檔案內容並沒有改變，除非重定向輸出。

 

sed的選項、命令、替換標記

命令格式

sed [options] 'command' file(s)

sed [options] -f scriptfile file(s)

選項

-n ：使用安靜(silent)模式。在一般 sed 的用法中，所有來自 STDIN 的資料一般都會被列出到終端上。但如果加上 -n 引數後，則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。

-e ：直接在命令列模式上進行 sed 的動作編輯；

-f ：直接將 sed 的動作寫在一個檔案內， -f filename 則可以執行 filename 內的 sed 動作；

-r ：sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)

-i ：直接修改讀取的檔案內容，而不是輸出到終端。

引數

檔案：指定待處理的文字檔案列表。

sed命令

a 在當前行下面插入文字。

i 在當前行上面插入文字。

c 把選定的行改為新的文字。

d 刪除，刪除選擇的行。

D 刪除模板塊的第一行。

s 替換指定字元

h 拷貝模板塊的內容到記憶體中的緩衝區。

H 追加模板塊的內容到記憶體中的緩衝區。

g 獲得記憶體緩衝區的內容，並替代當前模板塊中的文字。

G 獲得記憶體緩衝區的內容，並追加到當前模板塊文字的後面。

l 列表不能列印字元的清單。

n 讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。

N 追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。

p 列印模板塊的行。

P(大寫) 列印模板塊的第一行。

q 退出Sed。

b lable 分支到指令碼中帶有標記的地方，如果分支不存在則分支到指令碼的末尾。

r file 從file中讀行。

t label if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到指令碼的末尾。

T label 錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到指令碼的末尾。

w file 寫並追加模板塊到file末尾。

W file 寫並追加模板塊的第一行到file末尾。

! 表示後面的命令對所有沒有被選定的行發生作用。

= 列印當前行號碼。

# 把註釋擴充套件到下一個換行符以前。

sed替換標記

g 表示行內全面替換。

p 表示列印行。

w 表示把行寫入一個檔案。

x 表示互換模板塊中的文字和緩衝區中的文字。

y 表示把一個字元翻譯為另外的字元（但是不用於正則表示式）

子串匹配標記

& 已匹配字串標記

sed元字符集

^ 匹配行開始，如：/^sed/匹配所有以sed開頭的行。

$ 匹配行結束，如：/sed$/匹配所有以sed結尾的行。

. 匹配一個非換行符的任意字元，如：/s.d/匹配s後接一個任意字元，最後是d。

* 匹配0個或多個字元，如：/*sed/匹配所有模板是一個或多個空格後緊跟sed的行。

[] 匹配一個指定範圍內的字元，如/[ss]ed/匹配sed和Sed。

[^] 匹配一個不在指定範圍內的字元，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭，緊跟ed的行。

(..) 匹配子串，儲存匹配的字元，如s/(love)able/rs，loveable被替換成lovers。

& 儲存搜尋字元用來替換其他字元，如s/love/**&**/，love這成**love**。

< 匹配單詞的開始，如:/<love/匹配包含以love開頭的單詞的行。

> 匹配單詞的結束，如/love>/匹配包含以love結尾的單詞的行。

x{m} 重複字元x，m次，如：/0{5}/匹配包含5個0的行。

x{m,} 重複字元x，至少m次，如：/0{5,}/匹配至少有5個0的行。

x{m,n} 重複字元x，至少m次，不多於n次，如：/0{5,10}/匹配5~10個0的行。

 

報錯資訊和退出資訊

遇到語法錯誤時， sed 會向標準錯誤輸出傳送一條相當簡單的報錯資訊。但是，如果 sed判斷不出錯在何處，它會“斷章取義”，給出令人迷惑的報錯資訊。如果沒有語法錯誤， sed將會返回給 shell 一個退出狀態，狀態為 0 代表成功，為非 0 整數代表失敗。

Sed使用例項

替換操作：s命令

替換文字中的字串：

sed 's/book/books/' file

-n選項和p命令一起使用表示只打印那些發生替換的行：

sed -n 's/test/TEST/p' file

直接編輯檔案選項-i，會匹配file檔案中每一行的第一個book替換為books：

sed -i 's/book/books/g' file

全面替換標記g

使用字尾 /g 標記會替換每一行中的所有匹配：

sed 's/book/books/g' file

當需要從第N處匹配開始替換時，可以使用 /Ng：

echo sksksksksksk | sed 's/sk/SK/2g'
skSKSKSKSKSK
 
echo sksksksksksk | sed 's/sk/SK/3g'
skskSKSKSKSK
 
echo sksksksksksk | sed 's/sk/SK/4g'
skskskSKSKSK

定界符

以上命令中字元 / 在sed中作為定界符使用，也可以使用任意的定界符：

sed 's:test:TEXT:g'
sed 's|test|TEXT|g'

定界符出現在樣式內部時，需要進行轉義：

sed 's//bin//usr/local/bin/g'

刪除操作：d命令

刪除空白行：

sed '/^$/d' file

刪除檔案的第2行：

sed '2d' file

刪除檔案的第2行到末尾所有行：

sed '2,$d' file

刪除檔案最後一行：

sed '$d' file

刪除檔案中所有開頭是test的行：

sed '/^test/'d file

已匹配字串標記&

正則表示式 w+ 匹配每一個單詞，使用 [&] 替換它，& 對應於之前所匹配到的單詞：

echo this is a test line | sed 's/w+/[&]/g'
[this] [is] [a] [test] [line]

所有以192.168.0.1開頭的行都會被替換成它自已加localhost：

sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost

子串匹配標記

匹配給定樣式的其中一部分：

echo this is digit 7 in a number | sed 's/digit ([0-9])//'
this is 7 in a number

命令中 digit 7，被替換成了 7。樣式匹配到的子串是 7，(..) 用於匹配子串，對於匹配到的第一個子串就標記為 ，依此類推匹配到的第二個結果就是 ，例如：

echo aaa BBB | sed 's/([a-z]+) ([A-Z]+)/ /'
BBB aaa

love被標記為1，所有loveable會被替換成lovers，並打印出來：

sed -n 's/(love)able/rs/p' file

組合多個表示式

sed '表示式' | sed '表示式'
等價於：
sed '表示式; 表示式'

引用

sed表示式可以使用單引號來引用，但是如果表示式內部包含變數字串，就需要使用雙引號。

test=hello
echo hello WORLD | sed "s/$test/HELLO"
HELLO WORLD

選定行的範圍：,（逗號）

所有在模板test和check所確定的範圍內的行都被列印：

sed -n '/test/,/check/p' file

列印從第5行開始到第一個包含以test開始的行之間的所有行：

sed -n '5,/^test/p' file

對於模板test和west之間的行，每行的末尾用字串aaa bbb替換：

sed '/test/,/west/s/$/aaa bbb/' file

多點編輯：e命令

-e選項允許在同一行裡執行多條命令：

sed -e '1,5d' -e 's/test/check/' file

上面sed表示式的第一條命令刪除1至5行，第二條命令用check替換test。命令的執行順序對結果有影響。如果兩個命令都是替換命令，那麼第一個替換命令將影響第二個替換命令的結果。

和 -e 等價的命令是 --expression：

sed --expression='s/test/check/' --expression='/love/d' file

從檔案讀入：r命令

file裡的內容被讀進來，顯示在與test匹配的行後面，如果匹配多行，則file的內容將顯示在所有匹配行的下面：

sed '/test/r file' filename

寫入檔案：w命令

在example中所有包含test的行都被寫入file裡：

sed -n '/test/w file' example

追加（行下）：a命令

將 this is a test line 追加到 以test 開頭的行後面：

sed '/^test/a	his is a test line' file

在 test.conf 檔案第2行之後插入 this is a test line：

sed -i '2a	his is a test line' test.conf

插入（行上）：i命令

將 this is a test line 追加到以test開頭的行前面：

sed '/^test/i	his is a test line' file

在test.conf檔案第5行之前插入this is a test line：

sed -i '5i	his is a test line' test.conf

下一個：n命令

如果test被匹配，則移動到匹配行的下一行，替換這一行的aa，變為bb，並列印該行，然後繼續：

sed '/test/{ n; s/aa/bb/; }' file

變形：y命令

把1~10行內所有abcde轉變為大寫，注意，正則表示式元字元不能使用這個命令：

sed '1,10y/abcde/ABCDE/' file

退出：q命令

列印完第10行後，退出sed

sed '10q' file

保持和獲取：h命令和G命令

在sed處理檔案的時候，每一行都被儲存在一個叫模式空間的臨時緩衝區中，除非行被刪除或者輸出被取消，否則所有被處理的行都將 列印在螢幕上。接著模式空間被清空，並存入新的一行等待處理。

sed -e '/test/h' -e '$G' file

在這個例子裡，匹配test的行被找到後，將存入模式空間，h命令將其複製並存入一個稱為保持快取區的特殊緩衝區內。第二條語句的意思是，當到達最後一行後，G命令取出保持緩衝區的行，然後把它放回模式空間中，且追加到現在已經存在於模式空間中的行的末尾。在這個例子中就是追加到最後一行。簡單來說，任何包含test的行都被複制並追加到該檔案的末尾。

保持和互換：h命令和x命令

互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換：

sed -e '/test/h' -e '/check/x' file

指令碼scriptfile

sed指令碼是一個sed的命令清單，啟動Sed時以-f選項引導指令碼檔名。Sed對於指令碼中輸入的命令非常挑剔，在命令的末尾不能有任何空白或文字，如果在一行中有多個命令，要用分號分隔。以#開頭的行為註釋行，且不能跨行。

sed [options] -f scriptfile file(s)

列印奇數行或偶數行

方法1：

sed -n 'p;n' test.txt #奇數行
sed -n 'n;p' test.txt #偶數行

方法2：

sed -n '1~2p' test.txt #奇數行
sed -n '2~2p' test.txt #偶數行

列印匹配字串的下一行

grep -A 1 SCC URFILE
sed -n '/SCC/{n;p}' URFILE
awk '/SCC/{getline; print}' URFILE

 

關注微信公眾號和今日頭條，精彩文章持續更新中。。。。。