1. 程式人生 > >awk詳解及舉例

awk詳解及舉例

awk

AWK語言

技術分享

技術分享

v 選項:

-F :指明輸入時用到的字段分隔符

-v var=value: 定義變量

技術分享

v 分割符、域和記錄

awk 執行時,由 分隔符分隔的字段(域)標記$1,$2..$n稱 稱

為域標識。$0 為所有域,註意:和shell 中變量$ 符含義不同

文件的每一行稱為記錄

省略action行 ,則默認執行 print $0 的 的

$0:打印所有

v 示例:

awk ‘{print "hello,awk"}‘

awk –F: ‘{print}‘ /etc/passwd

awk –F: ‘{print “wang”}’ /etc/passwd

awk –F: ‘{print $1}’ /etc/passwd

awk –F: ‘{print $0}’ /etc/passwd

awk –F: ‘{print $1”\t”$3}’ /etc/passwd

tail –3 /etc/fstab |awk ‘{print $2,$4}’

awk 變量

v 變量:內 置 和自定義變量

v FS :輸入字段分隔符,默認為空白字符

awk -v FS=‘:‘ ‘{print $1,FS,$3}’ /etc/passwd

awk –F: ‘{print $1,$3,$7}’ /etc/passwd

v OFS :輸出字段分隔符,默認為空白字符

awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd

vRS輸入記錄分隔符,指定輸入時的換行符,原換行符仍有效

awk -v RS=‘ ‘ ‘{print }’ /etc/passwd

v ORS :輸出記錄分隔符,輸出時用指定符號代替換行符

awk -v RS=‘ ‘ -v ORS=‘###‘‘{print }’ /etc/passwd

技術分享

技術分享

打印奇數行或者偶數行:

技術分享

技術分享

計算的一些簡單方法

技術分享

統計一文件裏單詞出現的次數:

技術分享

NF :字段數量

awk -F ‘{print NF}’ /etc/fstab, 引用內置變量不用$

awk -F: ‘{print $(NF-1)}‘ /etc/passwd

技術分享

v NR :行號

技術分享

FNR :各文件分別計數, 行號

awk ‘{print FNR}‘ /etc/fstab /etc/inittab

技術分享

FILENAME :當前文件名

awk ‘{print FILENAME}’ /etc/fstab

打印出來時將所屬文件名也打印出來

技術分享

ARGC :命令行參數的個數

awk ‘{print ARGC}’ /etc/fstab /etc/inittab

awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

技術分享

v ARGV:數組,保存的是命令行所給定的各參數

技術分享

自定義變量( 區分 字符大小寫)

(1) -v var=value

(2) program

技術分享

技術分享

變量放在{}裏和外邊的區別:

{}內:每次執行時都要賦值一次

{}外:執行之前先賦值,以後循環使用

-f :調用腳本

技術分享

技術分享

printf命令

後邊有幾個變量,前邊就應該有幾個格式的定義,即幾個%定義,百分號定義和變量要一一對應

v 格式化輸出:printf “FORMAT ” , item1, item2, ...

(1) 必須指定FORMAT

(2) 不會自動換行,需要顯式給出換行控制符,\n

(3) FORMAT 中需要分別為後面每個item 指定格式符

v 格式符:與item 一一對應

%c: 顯示字符的ASCII碼 碼

%d, %i: 顯示十進制整數

%e, %E: 顯示科學計數法數值

%f :顯示為浮點數

10.3總共10位,包括30,一個小數點

技術分享

%g, %G :以科學計數法或浮點形式顯示數值

%s :顯示字符串

%u :無符號整數

下圖為10個字符:

技術分享

%%: 顯示% 自身

v 修飾符:

#[.#] :第一個數字控制顯示的寬度;第二個# 表示小數點後精度,%3.1f

技術分享

-: 左對齊(默認右對齊) %-15s

技術分享

+:顯示數值的正負符號 %+d

BEGIN:在前面加一個表頭

技術分享

操作符

v 算術操作符:

x+y, x-y, x*y, x/y, x^y, x%y

-x: 轉換為負數

+x: 轉換為數值

v 字符串操作符:沒有符號的操作符,字符串連接

v 賦值操作符:

=, +=, -=, *=, /=, %=, ^=

++, --

v 比較操作符:

==, !=, >, >=, <, <=

v 模式匹配符:~

/etc/passwd中匹配的是root的打印出來:

技術分享

df裏以/dev/sd開頭的打印出來

技術分享

技術分享

技術分享

左邊和右邊匹配包含 !~:不包含bash的行

技術分享

技術分享

++在前:先加再打印

++在後:先打印再加:(--同理)

邏輯操作符:與 與&& ,或||,非!

cmd1 cmd2兩個命令都要執行,都執行完再決定最終的結果為真還是假

cmd1 && cmd2先看第一個為真,假;如果第一個為假,那麽後邊的不管真假與第一個都是假,所以有可能後續的不執行

awk裏的&&的意思與cmd1 cmd2的含義一樣:

技術分享

條件表達式(三目表達式):

selector?if-true-expression:if-false-expression

如果selector?成立,則執行if-true-expression

如果selector?不成立,則執行if-false-expression

因為?和:將條件表達式分成了三段,所以稱為三目表達式

relational expression: 關系表達式,結果為“真”才會被處理

真:結果為非0 值,非空字符串

假:結果為空字符串或0

數字裏:0為假,非0為真

字符串:只要不為空都為真

line ranges: 行範圍

startline,endline /pat1/,/pat2/ 不支持直接給 出數字

格式

awk -F: ‘/^root\>/,/^nobody\>/{print $1}‘

/etc/passwd

awk -F: ‘(NR>=10&&NR<=20){print NR,$1}‘

/etc/passwd

NR:文件的行號

NF:文件每行的以符號分割的列數

技術分享

v (5) BEGIN/END 模式

BEGIN{}: 僅在開始處理文件中的文本之前執行一次

END{} :僅在文本處理完成之後執行

awk 控制語句if-else

v 語法:if(condition){statement;…}[else statement]

if(condition1){statement1}else if(condition2){statement2}

else{statement3}

v 使用場景:對awk 取得的整行或某個字段做條件判

技術分享

技術分享

查看是否有防火墻以及查看端口號

技術分享

9000端口改為默認80

技術分享

awk 控制語句

v while 循環

v 語法:while(condition){statement;…}

v 條件“真”,進入循環;條件“假”, 退出循環

v 使用場景:

對一行內的多個字段逐一類似處理時使用

對數組中的各元素逐一處理時使用

打印以root開頭的,從第一列開始一直循環到最後一列,當小於最後一列時,將該字符長度和名字打印出來,然後i++,一直循環到最後一列

技術分享

技術分享

do-while 循環

v 語法:do {statement;…}while(condition)

v無論真假,至少執行一次循環體

技術分享

-s後可以指定分隔符

技術分享

for 循環

v 語法:for(expr1;expr2;expr3) {statement;…}

v 常見用法:

for(variable assignment;condition;iteration process)

{for-body}

v 特殊用法:能夠遍歷數組中的元素

語法:for(var in array) {for-body}

next:

提前結束對本行處理而直接進入下一行處理(awk 自身循環)

技術分享

awk 數組

v 關聯數組:array[index-expression]

v index-expression:

(1) 可使用任意字符串;字符串要使用雙引號括起來

(2) 如果某數組元素事先不存在,在引用時,awk 會自動創建

此元素,並將其值初始化為“空串”

若要判斷數組中是否存在某元素,要使用“index in array”格 格

式進行遍歷

第一步:第一行1進來,$01abc[1]沒有賦值為空,為0;!Abc[1]1 abc[1]++1;(1,1

第二步:第二行進來,$02abc[2]沒有賦值為空,為0;!Abc[2]1abc[2]++1;(2,1

第三步:第三行進來,$01abc[1]1,因為第一步已經對abc[1]賦值!Abc[1]0abc[1]++2 ;所以(1,2

第四步:第四行2進來,$02abc[2]1,因為第二步已經對abc[2]賦值,

Abc[2]0abc[2]++2 ;所以(2,2

第五步:第五行3進來,$03abc[3]沒有賦值為空,等於0;!Abc[3]1abc[3]++1;所以(3,1

以下的同上

技術分享

awk 數組

v 若要遍歷數組中的每個元素,要使用for 循環

v for(var in array) {for-body}

v 註意:var 會遍歷array

技術分享

統計單詞出現的次數:(通用代碼,統計別的文件也通用)

技術分享

統計男生和女生平均成績多少?

技術分享

awk 函數

v 數值處理:

rand() :返回0 1 之間一個隨機數

技術分享

技術分享

v 字符串處理:

length([s]) :返回指定字符串的長度

sub(r,s,[t]) :對t 字符串進行搜索r 表示的模式匹配的內容,並將第一個匹

配的內容替換為s

echo "2008:08:08 08:08:08" | awk ‘sub(/:/,“-",$1)‘

gsub(r,s,[t]) :對t 字符串進行搜索r 表示的模式匹配的內容,並全部替換

s 所表示的內容

echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)‘

技術分享

split(s,array,[r]) :以r 為分隔符 , 切割字符串s ,並將切割後的結果保存

array 所表示的數組中,第一個索引值為1, 第二個索引值為2,…

netstat -tan | awk ‘/^tcp\>/{split($5,ip,":");count[ip[1]]++}

END{for (i in count) {print i,count[i]}}‘

技術分享

awk 函數

v 自定義函數

v 格式:

function name ( parameter, parameter, ... ) {

statements

return expression

}

v 示例:

#cat fun.awk

function max(v1,v2) {

v1>v2?var=v1:var=v2

return var

}

BEGIN{a=3;b=2;print max(a,b)}

awk 腳本

v將 將awk 程序寫成腳本,直接調用或執行

v 示例:

#cat f1.awk

{if($3>=1000)print $1,$3}

#awk -F: -f f1.awk /etc/passwd

#cat f2.awk

#!/bin/awk –f

#this is a awk script

{if($3>=1000)print $1,$3}

#chmod +x f2.awk

#f2.awk –F: /etc/passwd

awk 腳本傳遞參數

v 格式:

awkfile var=value var2=value2... Inputfile

v 註意 :在BEGIN 過程 中不可用。直到 首行輸入完成以後 ,變

量才可用 。可以通過-v 參數,讓awk 在執行BEGIN 之前得到

變量的值。命令行中每一個指定的變量都需要一個-v 參數

v 示例:

#cat test.awk

#!/bin/awk –f

{if($3 >=min && $3<=max)print $1,$3}

#chmod +x test.awk

#test.awk -F: min=100 max=200 /etc/passwd

技術分享

技術分享技術分享

本文出自 “13280264” 博客,轉載請與作者聯系!

awk詳解及舉例