詳解Shell腳本：sed命令工具 ，awk命令工具
Linux文本處理工具（以下都是命令和工具，而且只是作為展示，不能作為修改動作）
grep（過濾，但是不支持正則表達式）
egrep（支持正則表達式）
sed （行過濾）
awk（列過濾）
-
正則表達式概念
正則表達式:使用單個字符串來描述、匹配一系列符合某個句法規則的字符串
由普通字符與特殊字符組成，一般用在腳本編程、文本編輯器中,如php、python、she等,簡寫為regex、regexp、 用來檢索、替換符合模式的文本,具有強大的文本匹配功能
能夠在文本海洋中快速高效地處理本文
-
正則表達式層次：
1基礎正則表達式
2擴展正則表達式
-
正則表達式：就是查找字符串匹配的規律
比如郵箱的格式：[email protected]
比如手機號碼：1 [356789][0-9]{10}
第一位數不變 [第二位數內範圍]比如人的年齡 ：[0-1] {1} [0-2] [0-9] | [0-9] {2}
[ 匹配的範圍 ] { 匹配的次數 }
--------------基礎正則表達式元字符----------
基礎正則表達式是常用的正則表達式部分
非打印字符：
非打印字符也可以是正則表達式的組成部分。下表列出了表示非打印字符的轉義序列：
字符描述
- \cx 匹配由x指明的控制字符。例如， \cM 匹配一個 Control-M 或回車符。x 的值必須為 A-Z 或 a-z 之一。否則，將 c 視為一個原義的 ‘c‘ 字符。
- \f 匹配一個換頁符。等價於 \x0c 和 \cL。
- \n 匹配一個換行符。等價於 \x0a 和 \cJ。
- \r 匹配一個回車符。等價於 \x0d 和 \cM。
- \s 匹配任何空白字符，包括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v]。註意 Unicode 正則表達式會匹配全角空格符。
- \S 匹配任何非空白字符。等價於 [^ \f\n\r\t\v]。
\t 匹配一個制表符。等價於 \x09 和 \cI。
- \v 匹配一個垂直制表符。等價於 \x0b 和 \cK。
-
特殊字符：
所謂特殊字符，就是一些有特殊含義的字符，如上面說的 runoob 中的
，簡單的說就是表示任何字符串的意思。如果要查找字符串中的 符號，則需要對 進行轉義，即在其前加一個 \: runo*ob 匹配 runo*ob。許多元字符要求在試圖匹配它們時特別對待。若要匹配這些特殊字符，必須首先使字符"轉義"，即，將反斜杠字符\ 放在它們前面。下表列出了正則表達式中的特殊字符：
特別字符描述
- $ 匹配輸入字符串的結尾位置。如果設置了 RegExp 對象的 Multiline 屬性，則 $ 也匹配 ‘\n‘ 或 ‘\r‘。要匹配 $ 字符本身，請使用 \$。
- ( ) 標記一個子表達式的開始和結束位置。子表達式可以獲取供以後使用。要匹配這些字符，請使用 ( 和 )。
- 匹配前面的子表達式零次或多次。要匹配 字符，請使用 *。
- 匹配前面的子表達式一次或多次。要匹配 + 字符，請使用 +。
- . 匹配除換行符 \n 之外的任何單字符。要匹配 . ，請使用 . 。
- [ 標記一個中括號表達式的開始。要匹配 [，請使用 [。
- ? 匹配前面的子表達式零次或一次，或指明一個非貪婪限定符。要匹配 ? 字符，請使用 \?。
- \ 將下一個字符標記為或特殊字符、或原義字符、或向後引用、或八進制轉義符。例如， ‘n‘ 匹配字符 ‘n‘。‘\n‘ 匹配換行符。序列 ‘\‘ 匹配 "\"，而 ‘(‘ 則匹配 "("。
- ^ 匹配輸入字符串的開始位置，除非在方括號表達式中使用，此時它表示不接受該字符集合。要匹配 ^ 字符本身，請使用 \^。
- { 標記限定符表達式的開始。要匹配 {，請使用 {。
- | 指明兩項之間的一個選擇。要匹配 |，請使用 |。
-
限定符：
限定符用來指定正則表達式的一個給定組件必須要出現多少次才能滿足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6種。
正則表達式的限定符有：
字符描述
- 匹配前面的子表達式零次或多次。例如，zo 能匹配 "z" 以及 "zoo"。* 等價於{0,}。
- 匹配前面的子表達式一次或多次。例如，‘zo+‘ 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等價於 {1,}。
- ? 匹配前面的子表達式零次或一次。例如，"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等價於 {0,1}。
- {n} n 是一個非負整數。匹配確定的 n 次。例如，‘o{2}‘ 不能匹配 "Bob" 中的 ‘o‘，但是能匹配 "food" 中的兩個 o。
- {n,} n 是一個非負整數。至少匹配n 次。例如，‘o{2,}‘ 不能匹配 "Bob" 中的 ‘o‘，但能匹配 "foooood" 中的所有 o。‘o{1,}‘ 等價於 ‘o+‘。‘o{0,}‘ 則等價於 ‘o*‘。
- {n,m} m 和 n 均為非負整數，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 將匹配 "fooooood" 中的前三個 o。‘o{0,1}‘ 等價於 ‘o?‘。請註意在逗號和兩個數之間不能有空格。
-
舉例說明：
[root@yrh ~]# vim test01.sh gd god good goood gooood gold glad gaad abcEfg food 12345678Z 888-88888888 6666-6666666 IP 192.168.120.5 IP 119.75.217.109 pay $888 [root@yrh ~]# sed -n ‘/\$/p’ test01.sh pay $888 [root@yrh ~]# awk ‘/\$/’ test01.sh pay $888 [root@yrh ~]# grep ‘\$’ test01.sh pay $888 [root@yrh ~]# grep "^[a-z]" test01.sh #### 以字母開頭 [root@yrh ~]# sed -n ‘/^[a-z]/p’ test01.sh #### 以字母開頭 [root@yrh ~]# grep ‘[0-9]$’ test01.sh #### 以數字結尾 [root@yrh ~]# grep ‘go.d’ test01.sh good gold
-
常見元字符(續)
* :匹配前面子表達式0次或者多次例: good、go.d
例: [abc]、[a-z]、[a-z0-9]
例:[^a-z]、[^0-9]、[^A-z0-9]
{n,m}:匹配前面的子表達式n到m次,有{n}、{n,}、{n,m}三種格式
例:go{2}d、go{2,3}d、go{2,}d
-
舉例說明：
[root@yrh ~]# grep ‘goo*d’ test01.sh god good goood gooood [root@yrh ~]# grep "go[la]d" test01.sh gold [root@yrh ~]# sed -n ‘/go[la]d/p’ test01.sh gold [root@yrh ~]# awk ‘/go[la]d/’ test01.sh gold [root@yrh ~]# grep ‘[0-9]\{3,4\}-[0-9]\{7,8\}’ test01.sh 888-88888888 6666-6666666 [root@yrh ~]# grep ‘[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}’ test01.sh IP 192.168.120.5 IP 119.75.217.109 - ### PS: ### egrep ‘go\{2\}d’ #這樣形式的命令出現時一定要加 ‘ ‘ ， 一般在命令中出現 \ { } 這兩個個符號時，最好都加 ‘ ‘【命令不識別再去掉後使用也行】
-
-----------------擴展正則表達式--------------
擴展正則表達式是對基礎正則表達式的擴充深化
擴展元字符
+:匹配前面子表達式1次以上
例:go+d,將匹配至少一個0
?:匹配前面子表達式0次或者1次
例:go?d,將匹配gd或god
舉例說明：
[root@yrh ~]# grep go+d test01.sh #不支持擴展
[root@yrh ~]# egrep go+d test01.sh
god
good
goood
gooood
[root@yrh ~]# awk ‘/go+d/’ test01.sh
god
good
goood
gooood
[root@yrh ~]# sed -n ‘/go+d/p’ test01.sh #不支持擴展
[root@yrh ~]# awk ‘/go?d/’ test01.sh
gd
god擴展元字符(續)
() : 將括號中的字符串作為一個整體
例:(xyz)+,將匹配xyz整體1次以上,如xyzxyz| : 以或的方式匹配字條串
例1: good food,將匹配good或者food
例2: g(oo|la)d,將匹配good或者glad
舉例說明：
[root@yrh ~]# egrep ‘g(oo)+d’ test01.sh
good
gooood[root@yrh ~]# egrep ‘g(la|aa)d’ test01.sh
glad
gaad[root@yrh ~]# egrep -v ‘#|^$|^:’ /etc/ssh/sshd_config
----------------------------------sed 工具-----------------------------
sed工具概述：
sed是文本處理工具,讀取文本內容,根據指定的條件進行處理如刪除、替換、添加等
sed是一種流編輯器，它是文本處理中非常中的工具，能夠完美的配合正則表達式使用，功能不同凡響。處理時，把當前處理的行存儲在臨時緩沖區中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區中的內容，處理完成後，把緩沖區的內容送往屏幕。接著處理下一行，這樣不斷重復，直到文件末尾。文件內容並沒有 改變，除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件；簡化對文件的反復操作；編寫轉換程序等。
-
sed命令格式：
命令語法
sed -e ‘編輯指令’ 文件1 文件2………
sed -n -e ‘編輯指令’ 文件1 文件2………
sed -i -e ‘編輯指令’ 文件1 文件2………
-
常用選項
-e 指定要執行的命令,只有一個編輯命令時可省略
-n 只輸出處理後的行,讀入時不顯示
-i 直接編程文件,而不輸出結果
-
編輯命令格式
[地址1[,地址2]操作[參數]"地址",可數字、正則表達式、$,沒有地址代表是所有行
"操作",可以是p、d、s、r、w、i等
-
sed命令：
a\ ： 在當前行下面插入文本。
i\ ： 在當前行上面插入文本。
c\ ： 把選定的行改為新的文本。
d ： 刪除，刪除選擇的行。
D ： 刪除模板塊的第一行。
s ： 替換指定字符
h ： 拷貝模板塊的內容到內存中的緩沖區。
H ： 追加模板塊的內容到內存中的緩沖區。
g ： 獲得內存緩沖區的內容，並替代當前模板塊中的文本。
G ： 獲得內存緩沖區的內容，並追加到當前模板塊文本的後面。
l ： 列表不能打印字符的清單。
n ： 讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。
N ： 追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。
p ： 打印模板塊的行。
P ： (大寫) 打印模板塊的第一行。
q ： 退出Sed。
b ： lable 分支到腳本中帶有標記的地方，如果分支不存在則分支到腳本的末尾。
r ： file 從file中讀行。
t ： label if分支，從最後一行開始，條件一旦滿足或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
T： label 錯誤分支，從最後一行開始，一旦發生錯誤或者T，t命令，將導致分支到帶有標號的命令處，或者到腳本的末尾。
w ： file 寫並追加模板塊到file末尾。
W ： file 寫並追加模板塊的第一行到file末尾。
! ： 表示後面的命令對所有沒有被選定的行發生作用。
=： 打印當前行號碼。
#： 把註釋擴展到下一個換行符以前。
"參數",一般有g,代表只要符合條件的全部進行處理
-
sed元字符集：
^： 匹配行開始，如：/^sed/匹配所有以sed開頭的行。
$ ： 匹配行結束，如：/sed$/匹配所有以sed結尾的行。
. ： 匹配一個非換行符的任意字符，如：/s.d/匹配s後接一個任意字符，最後是d。
- ： 匹配0個或多個字符，如：/*sed/匹配所有模板是一個或多個空格後緊跟sed的行。
[] ： 匹配一個指定範圍內的字符，如/[ss]ed/匹配sed和Sed。
[^] ： 匹配一個不在指定範圍內的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭，緊跟ed的行。
(..) ： 匹配子串，保存匹配的字符，如s/(love)able/\1rs，loveable被替換成lovers。
& ： 保存搜索字符用來替換其他字符，如s/love/&/，love這成love。
\< ： 匹配單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。
\> ： 匹配單詞的結束，如/love\>/匹配包含以love結尾的單詞的行。
x{m} ： 重復字符x，m次，如：/0{5}/匹配包含5個0的行。
x{m,} ： 重復字符x，至少m次，如：/0{5,}/匹配至少有5個0的行。
x{m,n} ： 重復字符x，至少m次，不多於n次，如：/0{5,10}/匹配5~10個0的行。
-
sed用法舉例：
刪除舉例
sed ‘3,5d’ bfile #刪除第3~5行
sed ‘/xml/d’ bfile #刪除包含xm的行
sed ‘/^install/d’ bfle #刪除以 instal開頭的行
sed ‘/arch$/d’ bfle #刪除以arch結尾的行
sed ‘$d’ bfile #刪除最後一行
sed ‘/^$/d’ bfle #刪除所有的空行
-
舉例說明：
[root@yrh ~]# vim test01.sh 1 gd 2 god 3 good 4 goood 5 gooood 6 gold 7 glad 8 gaad 9 abcEfg 10 food 11 12345678Z 12 888-88888888 13 6666-6666666 14 IP 192.168.120.5 15 IP 119.75.217.109 16 pay $888 [root@yrh ~]# sed -n ‘12p’ test01.sh 888-88888888 [root@yrh ~]# sed -n ‘3,5p’ test01.sh good goood gooood [root@yrh ~]# sed -n ‘p;n’ test01.sh #打印奇數行 gd good gooood glad abcEfg 12345678Z 6666-6666666 IP 119.75.217.109 [root@yrh ~]# sed -n ‘n;p’ test01.sh #打印偶數行 god goood gold gaad food 888-88888888 IP 192.168.120.5 pay $888 [root@yrh ~]# sed -n ‘1,5{p;n}’ test01.sh #輸出1~5行之間的奇數行 gd good gooood [root@yrh ~]# sed -n ‘$p’ test01.sh #打印最後一行 pay $888 [root@yrh ~]# sed -n -e ‘1p;10p’ test01.sh #輸出第1、10行 gd food [root@yrh ~]# sed ‘16d’ test01.sh #刪除16行，不對文本進行操作 gd god good goood gooood gold glad gaad abcEfg food 12345678Z 888-88888888 6666-6666666 IP 192.168.120.5 IP 119.75.217.109 [root@yrh ~]# cat -n test01.sh #查看多了幾行空行 [root@yrh ~]# sed -i ‘/^$/d’ test01.sh #直接對文本操作，刪除空白行
-
替換舉例：
sed ‘s/xml/XML/’bfile// #將每行中的第一個xml替為XML
sed ‘s/xml//g’bfle/ #將文件中的所有xml刪除
sed ‘3,5s/xml/XML/g’ bfile/ #將第3~5行中的所有xml都替換為ⅩML
sed ‘/xml/s/com/COM/g’ bfile// #將包含xml的所有行中的com都替換為COM
-
舉例說明：
[root@yrh ~]# sed ‘/^IP/ s/^/#/’ test01.sh #匹配IP，並並且開頭添加成#[root@yrh ~]# sed ‘11 s/$/ ABC/’ test01.sh #在11行行尾添加ABC
[root@yrh ~]# sed ‘5,10 s/$/ ABC/’ test01.sh #在5-10行行尾添加ABC
[root@yrh ~]# sed ‘/^abcd/ s/$/ ABC/’ test01.sh #以abcd開頭的行尾添加ABC
-
多次執行編輯命令
sed -e ‘3,5p’ -e ‘3,5s/xml/XML/g’ bfile
可將多個編輯命令保存到文件中，通過-f指定文件，以完成多個處理操作舉例說明：
[root@yrh ~]# sed ‘2cABC’ test01.sh #將第二行替換成ABC
[root@yrh ~]# sed ‘2aABC’ test01.sh #將第二行插入ABC[root@yrh ~]# sed ‘5r /proc/version’ test01.sh #在第五行下追加
[root@yrh ~]# sed ‘2iABC123’ test01.sh #在第二行加入ABC123
[root@yrh ~]# sed ‘15,16w out.txt’ test01.sh #把當前15~16行保存到當前目錄out.txt
[root@yrh ~]# sed ‘/^IP/{H;d};$G’ test01.sh #將以IP開頭的兩行剪切到最後一行，H代表復制
[root@yrh ~]# sed ‘1,5H;15,16G’ test01.sh #將1~5進行復制，15粘貼一次，16行粘貼一次
--------------awk工具介紹------------------
awk也是一個功能強大的編輯工具,與sed一樣,可在無交互的情況下實現相當復雜的文本操作
命令格式
awk 選項 ‘模式或條件{編輯指令}’文件1 文件2
awk -f 腳本文件 文件1 文件2工作原理
逐行讀取文本,默認以空格為分隔符進行分隔,將分隔所得的各個字段保存到內建變量中,並按模式或者條件執行編輯命令
-
舉例說明：
[root@yrh ~]# vim 6.txt
11 22 33 44
55 66 77 88[root@yrh ~]# awk ‘{print $1}’ 6.txt
11
55[root@yrh ~]# awk ‘{print $1"---"$3}’ 6.txt
11---33
55---77[root@yrh ~]# sed -i ‘s/ /:/g’ 6.txt #空格加：
[root@yrh ~]# cat 6.txt
11:22:33:44:
55:66:77:88:[root@yrh ~]# awk -F’:’ ‘{print $3}’ 6.txt #第三列以":"分隔
33
77
-
awk內置變量：
FS:指定每行文本的字段分隔符,缺省為空格或制表位（-F）
NF:當前處理的行的字段個數
NR:當前處理的行的行號(序數)
$0:當前處理的行的整行內容
$n:當前處理行的第n個字段(第n列)
-
舉例說明：
[root@yrh ~]# awk -F’:’ ‘{print $3,NF}’ 6.txt
33 5
77 5
[root@yrh ~]# cat 6.txt
11:22:33:44: #最後一個 ：認為還是有參數，行的字段個數是5
55:66:77:88:[root@yrh ~]# awk -F’:’ ‘{print NR,$3,NF}’ 6.txt
1 33 5
2 77 5[root@yrh ~]# awk ‘{print $0}’ 6.txt
11:22:33:44:
55:66:77:88:
-
awk工具舉例：
打印文本內容
awk ‘NR==1NR==3{ print}’ bfile #輸出第1至第3行內容
awk ‘NR==1|NR==3{ print} bfile #輸出第1行、第3行內容
awk ‘/^root/{print’/etc/ passwd #輸出以root開頭的行按字段輸出文本
awk ‘{print $1,$3}’ bfile #輸出每行中的第1、3字段
awk -F ":" ‘{print $1,$7}’ /etc/shadow #輸出密碼為空的用戶的shadow記錄
-
舉例說明：
[root@yrh ~]# awk ‘NR==1,NR==3{print}’ test01.sh
gd
god
good[root@yrh ~]# awk ‘(NR>=1) && (NR<=3){print}’ test01.sh #打印第一行到第三行
gd
god
good[root@yrh ~]# awk ‘NR==1 || NR==3{print}’ test01.sh #打印第一行、第三行
gd
good[root@yrh ~]# awk ‘(NR%2)==0{print}’ test01.sh #輸入偶數行
[root@yrh ~]# awk ‘(NR%2)==1{print}’ test01.sh #輸入奇數行
[root@yrh ~]# awk ‘/^I/’ test01.sh #以大寫I開頭的行
[root@yrh ~]# awk -F’:’ ‘$2==""{print $1}’ /etc/shadow #密碼是空的
[root@yrh ~]# awk -F’:’ ‘{print $1,$3,$4,$7}’ /etc/passwd
[root@yrh ~]# free -m | awk ‘/cache:/’
/+ buffers/cache: 71 925
[root@yrh ~]# free -m | awk ‘/cache:/{print $3+$4}’[root@yrh ~]# free -m | awk ‘/cache:/{print int($3/($3+$4)*100)}’ #int取整數，並不是四舍五入
6
詳解Shell腳本：sed命令工具 ，awk命令工具