1. 程式人生 > >awk文本處理

awk文本處理

user 計算 一個 last 檢查 整除 之前 正則 roo

awk文本處理
基於模式匹配檢查輸入文本,逐行處理並輸出
通常用在shell腳本中,獲取指定的數據
單獨用時,可對文本數據做統計

一、語法格式
格式1:命令 | awk [選項] ‘[條件]{編輯指令}‘
格式2:awk [選項] ‘[條件]{編輯指令}‘ 文件..
若有多條語句,可用分號分隔
print是最常用的指令

# awk -F ";" ‘{print $1,$2}‘ /etc/passwd
root x
bin x
.. ..

二、常用命令選項
-F:指定分隔符,可省略(默認空格或Tab位)
cat m.txt
11111111 Caremi
222 IT Group

#awk‘{print $1}‘ m.txt

11111111
222
#awk -F "r" ‘{print $1}‘ m.txt
11111111 Ta
222 IT G

#df -hT /boot | tail -1 //第一行
#df -hT /boot | tail -1 | awk ‘{print $6}‘ //第一行第六列

# head -5 /etc/passwd | awk -F:(分隔符可以緊挨-F) ‘{print $1,$7}‘

三、awk內置變量
FS 保存或設置字段分隔符,例如FS=":"
$n 指定分隔的第n個字段,如$1、$3分別表示第1、3列
$0 當前讀入的整行文本內容
NF 記錄當前處理行的字段個數(列數)
NR 記錄當前已讀入行的數量(行數)

FNR 保存當前處理行在原文本內的序號(行號)

#awk ‘{print "第"FNR"行","有"NF"列"}‘ m.txt
#awk ‘{print "Last:"$NF}‘ m.txt //$NF表示每行最後一個字段
#awk -F: ‘$1==ENVIRON["USER"]{print $3}‘ \
/etc/passwd //輸出當前用戶的UID信息
四、awk處理的時機
1.行前處理,BEGIN{}
讀入第一行文本之前的執行
一般用來初始化操作
2.逐行處理,{}
逐行讀入文本執行相應的處理
是最常見的編輯指令塊
3.行後處理,END{}
處理完最後一行文本之後執行
一般用來輸出處理結果

1-3可單獨使用,也可以一起使用

#awk ‘BEGIN {a=34;print a+12}‘ //預處理不需要數據文件
#awk ‘BEGIN{x=0}/\<bash$/{x++}\
END{print x}‘ /etc/passwd //統計使用bash的用戶個數
#awk ‘BEGIN{print NR}END{print NR}‘ m.txt //預處理時,行數為0
//全部處理完以後,行數為已讀入的行數
五、awk處理條件
1.條件的表現形式
(1)正則表達式
/正則表達式/
~ 匹配
!~ 不匹配
#awk -F:‘/^ro/{print}‘ /etc/passwd //列出以ro開頭的記錄
#awk -F: ‘$7!~/bash$/{print $1,$7}‘ /etc/passwd
//列出第7個字段不以bash結尾的用戶名、登錄shell
(2)數值/字符串比較
==;!=;>;>=;<;<=
cat reg.txt
abcd XX
XX
abcabcd XX
#awk ‘NR==2{print}‘ reg.txt //XX
#awk ‘$2!="XX"{print}‘ reg.txt //XX,輸出第2列不是XX的行
#awk ‘NF>=2{print}‘ reg.txt //輸出含2個及以上字段的行
abcd XX
abcabcd XX
(3)邏輯比較
&&:期望多個條件都成立;||:只要有一個條件成立即滿足要求
#awk -F:‘$3>=0&&3<2{print $1,$3}‘ \
/etc/passwd //列出UID小於2的用戶信息
root 0
bin 1

#awk -F: ‘$3==1||$3==7{print $1,$3}‘ \
/etc/passwd //列出UID為1或7的用戶信息
bin 1
halt 7
(4)運算符
+,-,*,/,%,++,--,+=,-=,*=,/=
#awk ‘NR%2==1{print}‘ reg.txt //輸出奇數行文本
abcd XX
abcabcd XX

#awk ‘BEGIN{i=0}{i+=NF} END{print i}‘ reg.txt //統計文本的總字段個數
5

#seq 200 | awk ‘BEGIN{i=0}{$0%3==0}&&\
{$0%13==0}{i++} END{print i}‘ //計算能同時被3和13整除的整數個數

awk文本處理