參考：李中國老師的課件

可程式設計過濾器awk

歷史

  略

awk: 為什麼叫做可程式設計過濾器 ?

• awk 可以讀標準輸入並寫標準輸出 , 因此符合經典過濾
  器模式的程式定義
• 但是 awk 與 grep,tr,wc,sort,uniq 等功能單一的過濾器程式的最大不同之處 , 是它的文字過濾功能需要通過使用者自己程式設計去實現 , 因此更加強大、豐富、靈活

準備資料：emp.data，分隔符為空格

Beth	4.00	0
Dan	3.75	0
Kathy	4.00	10
Mark	5.00	20
Mary	5.50	22
Susie	4.25	18

awk 可程式設計過濾器的五種使用方式

方式一
cat emp.data | awk '$3 > 0 { print $1, $2 * $3 } '

#! /usr/bin/awk -f
$3 > 0 { print $1, $2 * $3 }
#$3 > 0 {print $1,$2*$3}
 

#$3 > 0 {print $1, $2*$3}
#$3 > 0 {print $1, $2* $3 }
#$3 > 0 {print $1"\t"$2*$3}

awk 程式的基本結構

awk '模式 + { 動作 }'

只有動作：預設模式為匹配所有行
awk ’ { print $1 } ’ emp.data

只有模式：預設動作為列印匹配的行
awk ’ $3 == 0 ’ emp.data

awk 程式的特殊模式：

BEGIN

  在讀入檔案之前執行。

命令列

[[email protected] script]$ awk 'BEGIN {print "Name Rate Hours";print "" }{ print }'
 
 emp.data 
Name Rate Hours

Beth 4.00 0
Dan 3.75 0
Kathy 4.00 10
Mark 5.00 20
Mary 5.50 22
Susie 4.25 18

程式檔案
#注意：BEGIN 與 { 必須在同一行

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
BEGIN {	#注意：這裡的BEGIN 與 { 必須在同一行
	print "Name Rate Hours"
	print ""
}
{
	print
}

[[email protected] script]$ ./programfile.sh emp.data 
Name Rate Hours

Beth 4.00 0
Dan 3.75 0
Kathy 4.00 10
Mark 5.00 20
Mary 5.50 22
Susie 4.25 18

END

  在讀完檔案之後執行。
#注意：END與 { 必須在同一行

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
$3>15{emp=emp+1}	#每個符號之間可以有空格  $3 > 15 { emp = emp + 1 }
END {	#注意：END與 { 必須在同一行
	print emp, "employess worked more than 15 hours"
}

[[email protected] script]$ ./programfile.sh emp.data 
3 employess worked more than 15 hours

awk 程式的特殊變數： NR 與 NF

• NR: 記錄當前行號
• NF: 當前行內欄位數
• $0: 當前整行的內容
• F: 指定分隔符

[[email protected] script]$ awk '{print NR, $0}' emp.data 
1 Beth 4.00 0
2 Dan 3.75 0
3 Kathy 4.00 10
4 Mark 5.00 20
5 Mary 5.50 22
6 Susie 4.25 18

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
{print NR, $0}

$ ./programfile.sh emp.data

  計算某檔案有多少個字元：
思考：程式中為什麼要+1？

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
{	nc=nc+=length($0) + 1
	nw=nw+NF
}
END {
	print NR, "lines,", nw, "words,", nc, "characters"
}

[[email protected] script]$ ./programfile.sh emp.data 
6 lines, 18 words, 77 characters

  -F 指定分隔符的使用方式

[[email protected] ~]$ cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin

[[email protected] ~]$ cat /etc/passwd | awk -F : 'BEGIN {print "name\tshell"} {print $1","$7} END {print "blue,/bin/nosh"}'
name	shell
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
......
blue,/bin/nosh

awk 控制結構

  與 C 語言一樣 ,awk 支援 if 語句、 for 迴圈、 while 迴圈等控制語句 ( 具有相同的語法 ):

  將負數轉成正數顯示：

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
{
	for (i = 1; i <= NF; i = i + 1){
		if ($i < 0) 
			$i = -$i
	}
	print
}

或者

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
{	for (i = 1; i <= NF; i = i + 1) if ($i < 0) $i = -$i
	print
}

awk 陣列

  將檔案內容，按每一行倒敘顯示：

[[email protected] script]$ cat programfile.sh 
#! /usr/bin/awk -f
{ line[NR]=$0}
END { for (i=NR; i>0; i=i-1)
	print line[i]
}

[[email protected] script]$ ./programfile.sh emp.data 
Susie 4.25 18
Mary 5.50 22
Mark 5.00 20
Kathy 4.00 10
Dan 3.75 0
Beth 4.00 0

流編輯器sed

簡介

• sed = stream editor
• 流編輯器 sed
  • 它編輯的物件通常是 Unix 管道中的文字流 , 故名
  • 誕生於 1973 – 1974 年 , 發明人是貝爾實驗室的 LeeE. McMahon ( 畢業於哈佛大學 )
  • 常常作為過濾器應用於管道之中 , 實現對文字的自動編輯處理 ; 與 awk 類似 , 其編輯功能同樣是可程式設計的(programmable)
• sed 是標準的過濾器模式的程式
  • … | sed ‘s/xxx/yyy/g’ | …

替換命令 s

  sed 最基本、最重要的命令 s ：文字替換
注意：

• 無g 匹配到一塊後，停止這一行後面字串的匹配；
• 有g 匹配所有的字串，即貪婪匹配；
• 正則表示式及替換文字的分割符 / 可以換成其它符號；
• 在被替換字串中 , 可以用符號 & 表示前面正則表示式匹配的內容；這一特性在進行文字替換時非常有用；
• 在正則表示式及被替換字元換中，可用 \number 表示第幾個匹配的字串；匹配字串如需參加編號 , 則用 \( 和 \) 標誌：
• 無-r引數，大括號、小括號 需要加轉義字元
• 有-r 引數，可以省略 正則表示式中的轉義字元；

例1：

[[email protected] script]$ echo "123abc" | sed 's/[0-9][0-9]*/& &/'
123 123abc

例2：

[[email protected] script]$ cat input.txt 
2014-03-03,37.92,38.13,37.49,37.78,29717500,37.78
2014-03-04,37.93,38.14,37.50,37.77,29717500,37.78
2014-04-05,37.94,38.15,37.51,37.77,29717511,37.79
2014-04-06,37.95,38.16,37.52,37.76,29717511,37.79

[[email protected] script]$ cat input.txt | sed 's/,/\t/g' > output.txt
[[email protected] script]$ cat output.txt 
2014-03-03	37.92	38.13	37.49	37.78	29717500	37.78
2014-03-04	37.93	38.14	37.50	37.77	29717500	37.78
2014-04-05	37.94	38.15	37.51	37.77	29717511	37.79
2014-04-06	37.95	38.16	37.52	37.76	29717511	37.79

例3：

[[email protected] script]$ cat telephone.txt 
4000001476
4000000049
4000000041
4000002754

[[email protected] script]$ cat telephone.txt | sed 's/[0-9]\{3\}/(&)/'
[[email protected] script]$ cat telephone.txt | sed -r 's/[0-9]{3}/(&)/'
(400)0001476
(400)0000049
(400)0000041
(400)0002754

例4：

[[email protected] script]$ cat telephone.txt | sed 's/\([0-9]\{3\}\)\([0-9]\{3\}\)/\1-\2-/'
[[email protected] script]$ cat telephone.txt | sed -r 's/([0-9]{3})([0-9]{3})/\1-\2-/'
400-000-1476
400-000-0049
400-000-0041
400-000-2754