Top

NSD SHELL DAY06

1. 案例1：使用awk提取文字
2. 案例2：awk處理條件
3. 案例3：awk綜合指令碼應用
4. 案例4：awk流程控制
5. 案例5：awk擴充套件應用

1 案例1：使用awk提取文字

1.1 問題

本案例要求使用awk工具完成下列過濾任務：

• 練習awk工具的基本用法
• 提取本機的網絡卡流量、根分割槽剩餘容量、獲取SSH遠端失敗的IP地址
• 格式化輸出/etc/passwd檔案中的使用者名稱、UID、宿主目錄資訊

1.2 步驟

實現此案例需要按照如下步驟進行。

步驟一：awk文字過濾的基本用法

1）基本操作方法

格式：awk [選項] '[條件]{指令}' 檔案

其中，print 是最常用的編輯指令；若有多條編輯指令，可用分號分隔。

Awk過濾資料時支援僅列印某一列，如第2列、第5列等。

處理文字時，若未指定分隔符，則預設將空格、製表符等作為分隔符。

直接過濾檔案內容：

1. [[email protected] ~]# cat test.txt
2. hello the world
3. welcome to beijing
4. [[email protected] ~]# awk '{print $1,$3}' test.txt        //列印文件第1列和第3列
5. hello world
6. welcome beijing

結合管道過濾命令輸出：

1. [[email protected] ~]# df -h | awk '{print $4}'        //列印磁碟的剩餘空間

2）選項 -F 可指定分隔符

輸出passwd檔案中以分號分隔的第1、7個欄位，顯示的不同欄位之間以逗號隔開，操作如下：

1. [[email protected] ~]# awk -F: '{print $1,$7}' /etc/passwd
2. root /bin/bash
3. bin /sbin/nologin
4. daemon /sbin/nologin
5. adm /sbin/nologin
6. lp /sbin/nologin
7. … …

awk還識別多種單個的字元，比如以“:”或“/”分隔，輸出第1、10個欄位：

1. [[email protected] ~]# awk -F [:/] '{print $1,$10}' /etc/passwd
2. root bash
3. bin nologin
4. daemon nologin
5. adm sbin
6. … …

awk常用內建變數：

$0 文本當前行的全部內容

$1 文字的第1列

$2 檔案的第2列

$3 檔案的第3列，依此類推

NR 檔案當前行的行號

NF 檔案當前行的列數（有幾列）

輸出每次處理行的行號，以及當前行以“:”分隔的欄位個數（有幾列）：

1. [[email protected] ~]# awk -F: '{print NR,NF}' passwd.txt
2. 1 7
3. 2 7
4. 3 7
5. .. ..

2）awk的print指令不僅可以列印變數，還可以列印常量

1. [[email protected] ~]# awk -F: '{print $1,"的直譯器:",$7}' /etc/passwd
2. root 的直譯器: /bin/bash
3. bin 的直譯器: /sbin/nologin
4. … …

步驟二：利用awk提取本機的網路流量、根分割槽剩餘容量、獲取遠端失敗的IP地址

1）提取IP地址

分步實現的思路及操作參考如下——

通過ifconfig eth0檢視網絡卡資訊，其中包括網絡卡流量：

1. [[email protected] ~]# ifconfig eth0
2. eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
3. inet 192.168.4.21 netmask 255.255.255.0 broadcast 192.168.4.255
4. inet6 fe80::fa64:c143:ad6a:5159 prefixlen 64 scopeid 0x20<link>
5. ether 52:54:00:b3:11:11 txqueuelen 1000 (Ethernet)
6. RX packets 313982 bytes 319665556 (304.8 MiB)
7. RX errors 0 dropped 0 overruns 0 frame 0
8. TX packets 51809 bytes 40788621 (38.8 MiB)
9. TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

RX為接收的資料量，TX為傳送的資料量。packets以資料包的數量為單位，bytes以位元組為單位：

1. [[email protected] ~]# ifconfig eth0 | awk '/RX p/{print $5}' //過濾接收資料的流量
2. 319663094
3. [[email protected] ~]# ifconfig eth0 | awk '/TX p/{print $5}'     //過濾傳送資料的流量
4. 40791683

2）提取根分割槽剩餘容量

分步實現的思路及操作參考如下——

通過df命令檢視根分割槽的使用情況，其中包括剩餘容量：

1. [[email protected] ~]# df -h /
2. 檔案系統             容量     已用     可用     已用%     掛載點
3. /dev/sda2         19G         7.2G     11G         40%         /

輸出上述結果中最後一行的第4列：

1. [[email protected] ~]# df -h / | tail -1 | awk '{print $6}'
2. 11G

或者直接在awk中使用正則：

1. [[email protected] ~]# df -h | awk '/\/$/{print $4}'
2. 11G

3）根據/var/log/secure日誌檔案，過濾遠端連線密碼失敗的IP地址

1. [[email protected] ~]# awk '/Failed/{print $11}' /var/log/secure
2. 192.168.2.254
3. 192.168.2.100
4. ... ...

步驟三：格式化輸出/etc/passwd檔案

1）awk處理的時機

awk會逐行處理文字，支援在處理第一行之前做一些準備工作，以及在處理完最後一行之後做一些總結性質的工作。在命令格式上分別體現如下：

1. awk [選項] '[條件]{指令}' 檔案
2. awk [選項] ' BEGIN{指令} {指令} END{指令}' 檔案

• BEGIN{ } 行前處理，讀取檔案內容前執行，指令執行1次
• { } 逐行處理，讀取檔案過程中執行，指令執行n次
• END{ } 行後處理，讀取檔案結束後執行，指令執行1次

只做預處理的時候，可以沒有操作檔案，比如：

1. [[email protected] ~]# awk 'BEGIN{A=24;print A*2}'
2. [[email protected] ~]# awk 'BEGIN{print x+1}' #x可以不定義，直接用，預設值位0
3. [[email protected] ~]# awk 'BEGIN{print 3.2+3.5}'

舉個例子（統計系統中使用bash作為登入Shell的使用者總個數）：

a.預處理時賦值變數x=0

b.然後逐行讀入/etc/passwd檔案，如果發現登入Shell是/bin/bash則x加1

c.全部處理完畢後，輸出x的值即可。相關操作及結果如下：

1. [[email protected] ~]# awk 'BEGIN{x=0}/bash$/{x++} END{print x}' /etc/passwd
2. 29

2）格式化輸出/etc/passwd檔案

要求: 格式化輸出passwd檔案內容時，要求第一行為列表標題，中間列印使用者的名稱、UID、家目錄資訊，最後一行提示一共已處理文字的總行數，如圖-1所示。

圖-1

3）根據實現思路編寫、驗證awk過濾語句

輸出資訊時，可以使用“\t”顯示Tab製表位：

1. [[email protected] ~]# awk -F: 'BEGIN{print "User\tUID\tHome"} \
2. {print $1 "\t" $3 "\t" $6} \
3. END{print "Total",NR,"lines."}' /etc/passwd
4. User UID Home
5. root 0 /root
6. bin 1 /bin
7. daemon 2 /sbin
8. adm 3 /var/adm
9. lp 4 /var/spool/lpd
10. sync 5 /sbin
11. .. ..
12. Total 67 lines.

2 案例2：awk處理條件

2.1 問題

本案例要求使用awk工具完成下列過濾任務，注意awk處理條件的設定：

• 列出UID間於1~1000的使用者詳細資訊
• 輸出/etc/hosts檔案內以127或192開頭的記錄
• 列出100以內整數中7的倍數或是含7的數

2.2 步驟

實現此案例需要按照如下步驟進行。

步驟一：認識awk處理條件的設定

1）使用正則設定條件

輸出其中以bash結尾的完整記錄：

1. [[email protected] ~]# awk -F: '/bash$/{print}' /etc/passwd
2. root:x:0:0:root:/root:/bin/bash

輸出包含root的行資料：

1. [[email protected] ~]# awk -F: '/root/' /etc/passwd

輸出root或adm賬戶的使用者名稱和UID資訊：

1. [[email protected] ~]# awk -F: '/^(root|adm)/{print $1,$3}' /etc/passwd
2. root 0
3. adm 3

輸出賬戶名稱包含root的基本資訊（第1列包含root）：

1. [[email protected] ~]# awk -F: '$1~/root/' /etc/passwd

輸出其中登入Shell不以nologin結尾（對第7個欄位做!~反向匹配）的使用者名稱、登入Shell資訊：

1. [[email protected] ~]# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
2. root /bin/bash
3. sync /bin/sync
4. shutdown /sbin/shutdown

2）使用數值/字串比較設定條件

比較符號：==(等於) !=（不等於） >（大於）

>=（大於等於） <（小於） <=（小於等於）

輸出第3行（行號NR等於3）的使用者記錄：

1. [[email protected] ~]# awk -F: 'NR==3{print}' /etc/passwd

輸出賬戶UID大於等於1000的賬戶名稱和UID資訊：

1. [[email protected] ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
2. tom 1000
3. jerry 1001

輸出賬戶UID小於10的賬戶名稱和UID資訊：

1. [[email protected] ~]# awk -F: '$3<10{print $1,$3}' /etc/passwd
2. root 0
3. bin 1
4. daemon 2
5. adm 3
6. lp 4
7. sync 5
8. shutdown 6
9. halt 7
10. mail 8

輸出使用者名稱為“root”的行：

1. [[email protected] ~]# awk -F: '$1=="root"' /etc/passwd
2. root:x:0:0:root:/root:/bin/bash

3）邏輯測試條件

輸出賬戶UID大於10並且小於20的賬戶資訊：

1. [[email protected] ~]# awk -F: '$3>10 && $3<20' /etc/passwd
2. operator:x:11:0:operator:/root:/sbin/nologin
3. games:x:12:100:games:/usr/games:/sbin/nologin
4. ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

輸出賬戶UID大於1000或者賬戶UID小於10的賬戶資訊：

1. [[email protected] ~]# awk -F: '$3>1000 || $3<10' /etc/passwd
2. root:x:0:0:root:/root:/bin/bash
3. bin:x:1:1:bin:/bin:/sbin/nologin
4. daemon:x:2:2:daemon:/sbin:/sbin/nologin
5. adm:x:3:4:adm:/var/adm:/sbin/nologin
6. lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
7. sync:x:5:0:sync:/sbin:/bin/sync
8. shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
9. halt:x:7:0:halt:/sbin:/sbin/halt
10. mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
11. varnish:x:1001:1001::/home/varnish:/sbin/nologin
12. nginx:x:1002:1002::/home/nginx:/sbin/nologin

4）數學運算

1. [[email protected] ~]# awk 'BEGIN{x++;print x}'
2. 1
3. [[email protected] ~]# awk 'BEGIN{x=8;print x+=2}'
4. 10
5. [[email protected] ~]# awk 'BEGIN{x=8;x--;print x}'
6. 7
7. [[email protected] ~]# awk 'BEGIN{print 2+3}'
8. 5
9. [[email protected] ~]# awk 'BEGIN{print 2*3}'
10. 6
11. [[email protected] ~]# awk 'BEGIN{print 2*3}'
12. 6
13. [[email protected] ~]# awk 'BEGIN{ print 23%8}'
14. 7
15. [[email protected] ~]# seq 200 | awk '$1%3==0' //找200以內3的倍數
16. … …

步驟二：完成任務要求的awk過濾操作

1）列出UID間於1~1000的使用者詳細資訊：

1. [[email protected] ~]# awk -F: '$3>=1 && $3<=1000' /etc/passwd

2）輸出/etc/hosts對映檔案內以127或者192開頭的記錄：

1. [[email protected] ~]# awk '/^(127|192)/' /etc/hosts
2. 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
3. 192.168.4.5 svr5.tarena.com svr5

3）列出100以內整數中7的倍數或是含7的數：

1. [[email protected] ~]# seq 100 | awk '$1%7==0||$1~/7/'
2. 7
3. 14
4. 17
5. 21
6. 27
7. 28
8. 35
9. 37
10. 42
11. 47
12. .. ..

3 案例3：awk綜合指令碼應用

3.1 問題

本案例要求編寫指令碼，實現以下需求：

• 找到使用bash作登入Shell的本地使用者
• 列出這些使用者的shadow密碼記錄，如圖-2所示

圖－2

3.2 步驟

實現此案例需要按照如下步驟進行。

步驟一：任務需求及思路分析

編寫指令碼的任務要求如下：

• 分析出使用bash作登入Shell的本地使用者
• 列出這些使用者的shadow密碼記錄
• 按每行“使用者名稱 -- 密碼記錄”儲存結果

步驟二：根據實現思路編寫指令碼

1. [[email protected] ~]# cat getupwd-awk.sh
2. #/bin/bash
3. A=$(awk -F: '/bash$/{print $1}' /etc/passwd)        ## 提取符合條件的賬號記錄
4.  
5. for i in $A
6. do
7.         grep $i /etc/shadow | awk -F: '{print $1,"-->",$2}'                
8. done

步驟三：驗證、測試指令碼

1. [[email protected] ~]# ./getupwd-awk.sh
2. root --> $6$IWgMYmRACwdbfwBo$dr8Yn983nswiJVw0dTMjzbDvSLeCd1GMYjbvsDiFEkL8jnXOLcocBQypOCr4C6BRxNowIxjh6U2qeFU0u1LST/
3. zengye --> $6$Qb37LOdzRl5995PI$L0zTOgnhGz8ihWkW81J.5XhPp/l7x2./Me2ag0S8tRndCBL9nIjHIKkUKulHxJ6TXyHYmffbVgUT6pbSwf8O71
4. clamav --> !!
5. mysql --> !!
6. .. ..

4 案例4：awk流程控制

4.1 問題

本案例要求瞭解awk的流程控制操作，可自行設定awk語句來有驗證以下操作：

• if分支結構（單分支、雙分支、多分支）
• 練習awk陣列的使用

4.2 步驟

實現此案例需要按照如下步驟進行。

步驟一：awk過濾中的if分支結構

1）單分支

統計/etc/passwd檔案中UID小於或等於1000的使用者個數：

1. [[email protected] ~]# awk -F: '{if($3<=1000){i++}}END{print i}' /etc/passwd
2. 39

統計/etc/passwd檔案中UID大於1000的使用者個數：

1. [[email protected] ~]# awk -F: '{if($3>1000){i++}}END{print i}' /etc/passwd
2. 8

統計/etc/passwd檔案中登入Shell是“/bin/bash”的使用者個數：

1. [[email protected] ~]# awk -F: '{if($7~/bash$/){i++}}END{print i}' /etc/passwd
2. 29

2）雙分支

分別統計/etc/passwd檔案中UID小於或等於1000、UID大於1000的使用者個數：

1. [[email protected] ~]# awk -F: '{if($3<=1000){i++}else{j++}}END{print i,j}' /etc/passwd
2. 39 8

分別統計/etc/passwd檔案中登入Shell是“/bin/bash”、 登入Shell不是“/bin/bash”的使用者個數：

1. [[email protected] ~]# awk -F: '{if($7~/bash$/){i++}else{j++}} END{print i,j}' /etc/passwd
2. 29 38

步驟二：awk陣列

1）陣列的語法格式

陣列是一個可以儲存多個值的變數，具體使用的格式如下：

定義陣列的格式：陣列名[下標]=元素值

呼叫陣列的格式：陣列名[下標]

遍歷陣列的用法：for(變數 in 陣列名){print 陣列名[變數]}。

1. [[email protected] ~]# awk 'BEGIN{a[0]=11;a[1]=88;print a[1],a[0]}'
2. 88 11
3. [[email protected] ~]# awk 'BEGIN{a++;print a}'
4. 1
5. [[email protected] ~]# awk 'BEGIN{a0++;print a0}'
6. 1
7. [[email protected] ~]# awk 'BEGIN{a[0]++;print a[0]}'
8. 1
9. [[email protected] ~]# awk 'BEGIN{a[0]=0;a[1]=11;a[2]=22; for(i in a){print i,a[i]}}'
10. 0 0
11. 1 11
12. 2 22

注意，awk陣列的下標除了可以使用數字，也可以使用字串，字串需要使用雙引號：

1. [[email protected] ~]# awk 'BEGIN{a["hehe"]=11;print a["hehe"]}'
2. 11

5 案例5：awk擴充套件應用

5.1 問題

本案例要求使用awk工具完成下列兩個任務：

• 分析Web日誌的訪問量排名，要求獲得客戶機的地址、訪問次數，並且按照訪問次數排名

5.2 方案

1）awk統計Web訪問排名

在分析Web日誌檔案時，每條訪問記錄的第一列就是客戶機的IP地址，其中會有很多重複的IP地址。因此只用awk提取出這一列是不夠的，還需要統計重複記錄的數量並且進行排序。

通過awk提取資訊時，利用IP地址作為陣列下標，每遇到一個重複值就將此陣列元素遞增1，最終就獲得了這個IP地址出現的次數。

針對文字排序輸出可以採用sort命令，相關的常見選項為-r、-n、-k。其中-n表示按數字順序升序排列，而-r表示反序，-k可以指定按第幾個欄位來排序。

5.3 步驟

實現此案例需要按照如下步驟進行。

步驟一：統計Web訪問量排名

分步測試、驗證效果如下所述。

1）提取IP地址及訪問量

1. [[email protected] ~]# awk '{ip[$1]++} \
2. > END{for(i in ip) {print ip[i],i }}' /var/log/httpd/access_log
3. 4 127.0.0.1
4. 17 192.168.4.5
5. 13 192.168.4.110
6. .. ..

2）對第1）步的結果根據訪問量排名

1. [[email protected] ~]# awk '{ip[$1]++} END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log | sort -nr
2. 17 192.168.4.5
3. 13 192.168.4.110
4. 4 127.0.0.1
5. .. ..