1. 程式人生 > >Linux之sed命令詳解

Linux之sed命令詳解

sed是一種流編輯器,它是文字處理中非常好的工具,能夠完美的配合正則表示式使用,功能不同凡響。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,這樣不斷重複,直到檔案末尾。檔案內容並沒有改變,除非你使用重定向儲存輸出。Sed主要用來自動編輯一個或多個檔案,可以將資料行進行替換、刪除、新增、選取等特定工作,簡化對檔案的反覆操作,編寫轉換程式等。

sed的選項、命令、替換標記

命令格式

sed的命令格式:sed [options] 'command' file(s);

sed的指令碼格式:sed [options] -f scriptfile file(s);

選項

 -e :直接在命令列模式上進行sed動作編輯,此為預設選項;

 -f :將sed的動作寫在一個檔案內,用–f filename 執行filename內的sed動作;

 -i :直接修改檔案內容;

 -n :只打印模式匹配的行;

 -r :支援擴充套件表示式;

 -h或--help:顯示幫助;

 -V或--version:顯示版本資訊。

引數

檔案:指定待處理的文字檔案列表。

sed常用命令

 a\ 在當前行下面插入文字;

 i\ 在當前行上面插入文字;

 c\ 把選定的行改為新的文字;

 d 刪除,刪除選擇的行;

 D 刪除模板塊的第一行;

 s 替換指定字元;

 h 拷貝模板塊的內容到記憶體中的緩衝區;

 H 追加模板塊的內容到記憶體中的緩衝區;

 g 獲得記憶體緩衝區的內容,並替代當前模板塊中的文字;

 G 獲得記憶體緩衝區的內容,並追加到當前模板塊文字的後面;

 l 列表不能列印字元的清單;

 n 讀取下一個輸入行,用下一個命令處理新的行而不是用第一個命令;

 N 追加下一個輸入行到模板塊後面並在二者間嵌入一個新行,改變當前行號碼;

 p 列印模板塊的行。 P(大寫) 列印模板塊的第一行;

 q 退出Sed;

 b lable 分支到指令碼中帶有標記的地方,如果分支不存在則分支到指令碼的末尾;

 r file 從file中讀行;

 t label if分支,從最後一行開始,條件一旦滿足或者T,t命令,將導致分支到帶有標號的命令處,或者到指令碼的末尾;

 T label 錯誤分支,從最後一行開始,一旦發生錯誤或者T,t命令,將導致分支到帶有標號的命令處,或者到指令碼的末尾;

 w file 寫並追加模板塊到file末尾;

 W file 寫並追加模板塊的第一行到file末尾;

 ! 表示後面的命令對所有沒有被選定的行發生作用;

 = 列印當前行號;

 # 把註釋擴充套件到下一個換行符以前;

sed替換標記

 g 表示行內全面替換;

 p 表示列印行;

 w 表示把行寫入一個檔案;

 x 表示互換模板塊中的文字和緩衝區中的文字;

 y 表示把一個字元翻譯為另外的字元(但是不用於正則表示式);
 
 \1 子串匹配標記;

 & 已匹配字串標記;

sed元字符集

 ^ 匹配行開始,如:/^sed/匹配所有以sed開頭的行;
 
 $ 匹配行結束,如:/sed$/匹配所有以sed結尾的行;
 
 . 匹配一個非換行符的任意字元,如:/s.d/匹配s後接一個任意字元,最後是d;
 
 * 匹配0個或多個字元,如:/*sed/匹配所有模板是一個或多個空格後緊跟sed的行;
  
 [] 匹配一個指定範圍內的字元,如/[ss]ed/匹配sed和Sed;
   
 [^] 匹配一個不在指定範圍內的字元,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭,緊跟ed的行;
  
 \(..\) 匹配子串,儲存匹配的字元,如s/\(love\)able/\1rs,loveable被替換成lovers;
  
 & 儲存搜尋字元用來替換其他字元,如s/love/**&**/,love這成**love**;
  
 \< 匹配單詞的開始,如:/\<love/匹配包含以love開頭的單詞的行;
 
 \> 匹配單詞的結束,如/love\>/匹配包含以love結尾的單詞的行;
 
 x\{m\} 重複字元x,m次,如:/0\{5\}/匹配包含5個0的行;
 
 x\{m,\} 重複字元x,至少m次,如:/0\{5,\}/匹配至少有5個0的行;
 
 x\{m,n\} 重複字元x,至少m次,不多於n次,如:/0\{5,10\}/匹配5~10個0的行;
sed使用者例項

替換操作:s命令

替換文字中的字串:

 sed 's/book/books/' file

-n選項p命令一起使用表示只打印那些發生替換的行:

 sed -n 's/test/TEST/p' file

直接編輯檔案選項-i,會匹配file檔案中每一行的第一個book替換為books

 sed -i 's/book/books/g' file

全面替換標記g

使用字尾 /g 標記會替換每一行中的所有匹配:

 sed 's/book/books/g' file

當需要從第N處匹配開始替換時,可以使用 /Ng:

 echo sksksksksksk | sed 's/sk/SK/2g' 
 skSKSKSKSKSK
 echo sksksksksksk | sed 's/sk/SK/3g'
 skskSKSKSKSK  
 echo sksksksksksk | sed 's/sk/SK/4g'
 skskskSKSKSK 

定界符

以上命令中字元 / 在sed中作為定界符使用,也可以使用任意的定界符

 sed 's:test:TEXT:g' 
 sed 's|test|TEXT|g' 

定界符出現在樣式內部時,需要進行轉義:

 sed 's/\/bin/\/usr\/local\/bin/g'

刪除操作:d命令

刪除空白行:

 sed '/^$/d' file

刪除檔案的第2行:

 sed '2d' file

刪除檔案的第2行到末尾所有行:

 sed '2,$d' file

刪除檔案最後一行:

 sed '$d' file

刪除檔案中所有開頭是test的行:

 sed '/^test/'d file

已匹配字串標記&

正則表示式 \w\+ 匹配每一個單詞,使用 [&] 替換它,& 對應於之前所匹配到的單詞:

 echo this is a test line | sed 's/\w\+/[&]/g'
 [this] [is] [a] [test] [line] 

所有以192.168.0.1開頭的行都會被替換成它自已加localhost:

 sed 's/^192.168.0.1/&localhost/' file 192.168.0.1localhost

子串匹配標記\1

匹配給定樣式的其中一部分:

 echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/' 
 this is 7 in a number

命令中 digit 7,被替換成了 7。樣式匹配到的子串是 7,\(..\) 用於匹配子串,對於匹配到的第一個子串就標記為 \1,依此類推匹配到的第二個結果就是 \2,例如:

 echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/' 
 BBB aaa

love被標記為1,所有loveable會被替換成lovers,並打印出來:

 sed -n 's/\(love\)able/\1rs/p' file

組合多個表示式

 sed '表示式' | sed '表示式'  等價於:  
 sed '表示式; 表示式'

引用

sed表示式可以使用單引號來引用,但是如果表示式內部包含變數字串,就需要使用雙引號。

 test=hello 
 echo hello WORLD | sed "s/$test/HELLO" 
 HELLO WORLD

選定行的範圍:,(逗號)

所有在模板test和check所確定的範圍內的行都被列印:

 sed -n '/test/,/check/p' file

列印從第5行開始到第一個包含以test開始的行之間的所有行:

 sed -n '5,/^test/p' file

對於模板test和west之間的行,每行的末尾用字串aaa bbb替換:

 sed '/test/,/west/s/$/aaa bbb/' file

多點編輯:e命令

-e選項允許在同一行裡執行多條命令:

 sed -e '1,5d' -e 's/test/check/' file

上面sed表示式的第一條命令刪除1至5行,第二條命令用check替換test。命令的執行順序對結果有影響。如果兩個命令都是替換命令,那麼第一個替換命令將影響第二個替換命令的結果。

和 -e 等價的命令是 --expression:

 sed --expression='s/test/check/' --expression='/love/d' file

從檔案讀入:r命令

file裡的內容被讀進來,顯示在與test匹配的行後面,如果匹配多行,則file的內容將顯示在所有匹配行的下面:

 sed '/test/r file' filename

寫入檔案:w命令

在example中所有包含test的行都被寫入file裡:

 sed -n '/test/w file' example

追加(行下):a\命令

將 this is a test line 追加到 以test 開頭的行後面:

 sed '/^test/a\this is a test line' file

在 test.conf 檔案第2行之後插入 this is a test line:

 sed -i '2a\this is a test line' test.conf 

插入(行上):

i\命令 將 this is a test line 追加到以test開頭的行前面:

 sed '/^test/i\this is a test line' file

在test.conf檔案第5行之前插入this is a test line:

 sed -i '5i\this is a test line' test.conf

下一個:n命令

如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,並列印該行,然後繼續:

 sed '/test/{ n; s/aa/bb/; }' file 

變形:y命令

把1~10行內所有abcde轉變為大寫,注意,正則表示式元字元不能使用這個命令:

 sed '1,10y/abcde/ABCDE/' file

退出:q命令

列印完第10行後,退出sed sed '10q' file 保持和獲取:h命令和G命令 在sed處理檔案的時候,每一行都被儲存在一個叫模式空間的臨時緩衝區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將列印在螢幕上。接著模式空間被清空,並存入新的一行等待處理。

 sed -e '/test/h' -e '$G' file 

在這個例子裡,匹配test的行被找到後,將存入模式空間,h命令將其複製並存入一個稱為保持快取區的特殊緩衝區內。第二條語句的意思是,當到達最後一行後,G命令取出保持緩衝區的行,然後把它放回模式空間中,且追加到現在已經存在於模式空間中的行的末尾。在這個例子中就是追加到最後一行。簡單來說,任何包含test的行都被複制並追加到該檔案的末尾。

保持和互換:h命令和x命令

互換模式空間和保持緩衝區的內容。也就是把包含test與check的行互換:

 sed -e '/test/h' -e '/check/x' file 

指令碼scriptfile

sed指令碼是一個sed的命令清單,啟動Sed時以-f選項引導指令碼檔名。Sed對於指令碼中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文字,如果在一行中有多個命令,要用分號分隔。以#開頭的行為註釋行,且不能跨行。

 sed [options] -f scriptfile file(s)

列印奇數行或偶數行

方法1:

 sed -n 'p;n' test.txt  #奇數行 sed -n 'n;p' test.txt  #偶數行 

方法2:

 sed -n '1~2p' test.txt  #奇數行 sed -n '2~2p' test.txt  #偶數行 

列印匹配字串的下一行

 grep -A 1 SCC URFILE 
 sed -n '/SCC/{n;p}' URFILE 
 awk '/SCC/{getline; print}' URFILE


相關推薦

玩轉LINUXsed命令

用戶 常見 mail 括號 {} int 緩沖 復雜 commands Linux sed命令是利用script來處理文本文件。 sed可依照script的指令,來處理、編輯文本文件。 Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。 執行時,s

Linuxsed命令

sed是一種流編輯器,它是文字處理中非常好的工具,能夠完美的配合正則表示式使用,功能不同凡響。處理時,把當前處理的行儲存在臨時緩衝區中,稱為“模式空間”(pattern space),接著用sed命令處理緩衝區中的內容,處理完成後,把緩衝區的內容送往螢幕。接著處理下一行,

linux awk命令

數學函數 mat loop 多次 finished 數組結構 save pre 新的 awk是一種程序語言,對文檔資料的處理具有很強的功能。awk名稱是由它三個最初設計者的姓氏的第一個字母而命名的: Alfred V. Aho、Peter J. We i n b e rg

Linuxfind命令

Linux find find:實時查找工具,通過遍歷指定起始路徑下文件系統層級結構完成文件查找: 工作特性: 查找速度略慢: 精確查找: 實時查找: 用法: find [OPTIONS][查找起始路徑][查找條件

Linuxexpr命令

expr命令:     expr命令是一個手工命令列計數器,用於在UNIX/LINUX下求表示式變數的值,一般用於整數值,也可用於字串。   –格式為:     expr Expression(命令讀入Expression 引數,計算它的值,然後將結果寫入到標準輸出)   –引數應用規則:     用空格隔開

Linuxman命令及中文漢化

使用方法 Linux man中的man就是manual的縮寫,用來檢視系統中自帶的各種參考手冊 使用方法: man command 示例: [[email protected]_0_13_centos ~]# man ls LS(1)

Linux Cut命令

cut是一個選取命令,就是將一段資料經過分析,取出我們想要的。一般來說,選取資訊通常是針對“行”來進行分析的,並不是整篇資訊分析的。 (1)其語法格式為:cut  [-bn] [file] 或 cut [-c] [file]  或  cut [-df] [file]

linuxsed命令

sed 's/[ ][ ]*/ /g' 如果空格與tab共存時用sed -e 's/[[:space:]][[:space:]]*/ /g' filename替換文件名中的空格newfile=${oldfile// /_} 用 tr : find . -type f -name "* *" -print |

Linuxlocate命令

檔案搜尋命令:locate(只能搜檔名) 用法  locate 檔名在後臺數據庫中安檔名搜尋,搜尋速度比find更快,但對於剛建立的檔案,使用該命令進行查詢將會搜尋不到所建立的檔案,例如: 如果想使剛建立的檔案被locate命令搜尋到,可以使用updatedb命令,更新ml

Linuxtouch命令

在Linux中,touch命令主要是用於新建一個不存在的檔案或者是對於檔案的時間戳進行修改; (1)使用touch命令新建一個不存在的檔案 使用touch新建了一個檔案,然後使用ls -a進行檔案目

Linuxawk命令

AWK介紹 0.awk有3個不同版本: awk、nawk和gawk,未作特別說明,一般指gawk。 1.awk語言的最基本功能是在檔案或字串中基於指定規則來分解抽取資訊,也可以基於指定的規則來輸出資料。完整的awk指令碼通常用來格式化文字檔案中的資訊。 2.三種方式呼叫awk 1) awk [opion]

linux文本處理三劍客grep命令

gawk 軟件 upper edit 進制 使用 第一個 空格 earch Linux文本處理三劍客之grep grep:文本過濾(模式:pattern)工具 grep, egrep, fgrep(不支持正則表達式搜索) sed:stream editor,

linux三劍客sed入門

linux 三劍客 sed sed介紹sed流編輯器(stream editor),在三劍客中排行老二,是一款簡單的文本編輯語言。sed並不直接處理源文件,而是逐行讀取源文件的內容到內存(稱模式空間)中,然後在模式空間中使用sed命令處理,再打印模式空間處理後的內容到標準輸出。sed的能夠實現的功

Linux sed命令

world 正則 技術分享 earch yum shutdown height 註意 備註 sed是一種流編編器,它是文本處理中非常中的工具,能夠完美的配合正則表達式便用,功物能不同凡響。 處理時,把當前處理的行存儲在臨時緩沖區中,稱為”模式空間”( oat

Linux三劍客awk命令

awk簡單入門 awk是一個強大的文字分析工具,相對於grep的查詢,sed的編輯,awk在其對資料分析並生成報告時,顯得尤為強大。簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行各種分析處理。 使用方法: awk '{pattern + a

Linux基礎知識dd命令

本文先簡要介紹dd的引數,然後通過幾個例項介紹dd的應用,這些素材整理來源於網路。 dd 是 Linux/UNIX 下的一個非常有用的命令,其作用是用指定大小的塊拷貝一個檔案,並在拷貝的同時進行指定的轉換。 1. 命令簡介 dd 的主要引數選項: 指定數字的地方若以下列字元結尾乘以相應的數字: b=

Linux系列 tar 命令

tar 是 unix/linux下的打包器 【解壓】 輸入命令: # tar  -zxvf  filename.tar.gz 引數解釋: z :表示 tar 包是被 gzip 壓縮過的 (字尾是.tar.gz),所以解壓時需要用 gu

Linux命令——Date命令

date命令的幫助資訊  [[email protected] source]# date --help 用法:date [選項]... [+格式]  或:date [-u|--utc|--universal] [MMDDhhmm[[CC]YY][.ss]] 以

Linux Sed命令+如何替換換行符"\n"(很多面試問道)

SedSed是一個強大的文字處理工具可以採用正則匹配,對文字進行插入刪除修改等操作Sed處理的時候,一次處理一行,每一次把當前處理的存放在臨時緩衝區,處理完後輸出緩衝區內容到螢幕,然後把下一行讀入緩衝區,如此重複,直到結尾。1、命令格式和引數sed [-nefr] [動作]

linux命令dd命令和/dev/zero、/dev/null

主要內容來自:http://www.cnblogs.com/dkblog/archive/2009/09/18/1980715.html dd 是 Linux/UNIX 下的一個非常有用的命令,作用是用指定大小的塊拷貝一個檔案,並在拷貝的同時進行指定的轉換(convert