2. 程式人生 > >awk詳解 數組

awk詳解 數組

阿新 • • 發佈：2017-10-09
破解 區塊 init family 習題 pac 表示 pattern 處理

第1章 awk命令基礎

1.1 awk命令執行過程

1、如果BEGIN 區塊存在，awk執行它指定的動作。

2、awk從輸入文件中讀取一行，稱為一條輸入記錄。如果輸入文件省略，將從標準輸入讀取

3、awk將讀入的記錄分割成字段，將第1個字段放入變量$1中，第2個字段放入$2，以此類推。$0表示整條記錄。字段分隔符使用shell環境變量FS或由參數指定。

4、把當前輸入記錄(數據行)依次與每一個awk命令中awk條件比較，看是否匹配，如果相匹配，就執行對應的動作。如果不匹配，就跳過對應的動作，直到比較完所有的awk命令。

5、當一條輸入記錄比較了所有的awk命令後，awk讀取輸入的下一行，繼續重復步驟

3和4，這個過程一直持續，直到awk讀取到文件尾。

6、當awk讀完所有的輸入行後，如果存在END，就執行相應的動作。

1.2 awk中模式與動作

‘pattern{action}‘

1.2.1 在awk眼中的行與列

field 字段，列

record 記錄，行

1.3 awk默認有一把“菜刀”

空格系列 （單獨的空格，連續的空格，tab鍵）

-F 指定分隔符

-vFS

FS == field sep 每一列的分隔符

OFS ==output field sep 輸出每一列的時候使用的分隔符

1.4 awk的內置變量

變量

含義

英文全寫

FS

每一列的分隔符

field sep

NF

每一行有多少列

number of field

OFS

輸出每一列的時候使用的分隔符

output field sep

NR

記錄號 行號

number of record

RS

每一行的分隔符（每一行的結束標記）

$數字

取某一列

$0

取出這一行

1.4.1 $NF的使用

$NF 表示最後一列，(NF-1)表示倒數第二列，以此類推。

[[email protected] ~]# awk -F: ‘{print NF}‘ passwd.txt

7

7

……

[[email protected] ~]# awk -F: ‘{print $NF}‘ passwd.txt

/bin/bash

/sbin/nologin

/sbin/nologin

[[email protected] ~]# awk -F: ‘{print $(NF-1)}‘ passwd.txt

/root

/bin

/sbin

1.5 【練習題】awk如何使用正則？

1) 顯示Xiaoyu的姓氏和ID號碼

2) 顯示所有ID號碼最後一位數字是1或5的人的全名

3) 姓氏是Zhang的人，顯示他的第二次捐款金額及她的名字

4) 顯示Xiaoyu的捐款.每個值時都有以$開頭.如$520$200$135

1.5.1 環境準備

mkdir -p /server/files/

cat >>/server/files/reg.txt<<EOF

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Meng Feixue 80042789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

EOF

1.5.1.1 內容釋義：

第一列是姓氏

第二列是名字

第一第二列合起來就是姓名

第三列是對應的ID號碼

最後三列是三次捐款數量

1.5.2 顯示出第二列中包含X 的。

$2~表示第二列所有的內容。 ~表示所有

在這裏X比較特殊，是大寫的，awk中區分大小寫。

[[email protected] files]# awk ‘$2~/X/‘ reg.txt

Zhang Xiaoyu 390320151 :155:90:201

Wang Xiaoai 3515064655 :50:95:135

1.5.3 顯示Xiaoyu的姓氏和ID號碼

[[email protected] files]# awk ‘$2~/Xiaoyu/{print $1,$3}‘ reg.txt

Zhang 390320151

1.5.4 顯示所有ID號碼最後一位數字是1或5的人的全名

[[email protected] files]# awk ‘$3~/(1|5)$/{print $1,$2}‘ reg.txt

[[email protected] files]# awk ‘$3~/[15]$/{print $1,$2}‘ reg.txt

Zhang Xiaoyu

Wu Waiwai

Wang Xiaoai

Li Youjiu

Lao Nanhai

1.5.5 姓氏是Zhang的人，顯示他的第二次捐款金額及她的名字

先找到，再進行輸出。(NF-1) 表示倒數第二列。

[[email protected] files]# awk -F "[ :]+" ‘$1~/Zhang/{print $2,$(NF-1)}‘ reg.txt

Dandan 100

Xiaoyu 90

1.5.6 顯示Xiaoyu的捐款.每個值時都有以$開頭.如$520$200$135

tr 命令進行替換，格式比較簡單tr "要替換什麽" "替換成什麽"

[[email protected] files]# awk ‘$2~/Xiaoyu/{print $4}‘ reg.txt |tr ":" "$"

$155$90$201

[[email protected] files]# awk ‘$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}‘ reg.txt

$155$90$201

1.6 awk中的$0是什麽鬼？

$0表示文件中整條記錄（行）的內容，在這裏加$0 與不加$0 相同。

[[email protected] files]# awk ‘/Zhang/‘ reg.txt

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

[[email protected] files]# awk ‘$0~/Zhang/‘ reg.txt

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

1.7 awk中的替換

在awk中，可以用來替換的有三個函數：sub gsub gensub

1.7.1 使用gusb 函數進行替換

gsub(r, s [, t])

r /找誰/

s "替換成什麽"

[] 替換那個部分的

表示為： gsub(/找誰/,"替換成什麽",替換那個部分的)

1.7.2 替換文本中的內容

題目：顯示Xiaoyu的捐款.每個值時都有以$開頭.如$520$200$135

中間使用分號分割 ;

[[email protected] files]# awk ‘{gsub(/:/,"$",$NF);print $0}‘ reg.txt

Zhang Dandan 41117397 $250$100$175

Zhang Xiaoyu 390320151 $155$90$201

Meng Feixue 80042789 $250$60$50

Wu Waiwai 70271111 $250$80$75

Liu Bingbing 41117483 $250$100$175

Wang Xiaoai 3515064655 $50$95$135

Zi Gege 1986787350 $250$168$200

Li Youjiu 918391635 $175$75$300

Lao Nanhai 918391635 $250$100$175

添加上限定條件後，取到的結果會更加的精確。

[[email protected] files]# awk ‘$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}‘ reg.txt

$155$90$201

1.8 【練習題】判斷當前系統上所有用戶的shell是否為可登錄shell（即用戶的shell不是/sbin/nologin）,如果是顯示用戶名字

不包含：！ ，在awk中不包含可以使用！ 表示。

$NF 表示這個文件的最後一列

-F 將分隔符指定為：

[[email protected] ~]# awk -F: ‘$NF!~/nologin$/{print $1}‘ /etc/passwd

root

sync

shutdown

halt

oldboy

oldgirl

test

stu01

stu02

stu03

znix

1.8.1 【對齊】輸出的結果更美觀整齊--column命令

-t -t參數讓他對齊。

[[email protected] files]# awk ‘BEGIN{print "姓","名"}{print $1,$2}‘ reg.txt |column -t

姓 名

Zhang Dandan

Zhang Xiaoyu

Meng Feixue

Wu Waiwai

Liu Bingbing

Wang Xiaoai

Zi Gege

Li Youjiu

Lao Nanhai

第2章 awk中BEGIN 和 END

2.1 怎麽把正則表達式作為條件

BEGIN：開始

裏面的內容會在awk讀取文件之前運行

在BEGIN裏面定義awk的內置變量

END

END{} 裏面放入內容，在讀取完文件內容後執行

先計算，在END裏面輸出結果

先計算再輸出

2.1.1 【一個栗子】執行完輸出後，再輸出一個“結束”

[[email protected] files]# awk ‘{print $0}END{print "結束"}‘ reg.txt

Zhang Dandan 41117397 :250:100:175

Zhang Xiaoyu 390320151 :155:90:201

Meng Feixue 80042789 :250:60:50

Wu Waiwai 70271111 :250:80:75

Liu Bingbing 41117483 :250:100:175

Wang Xiaoai 3515064655 :50:95:135

Zi Gege 1986787350 :250:168:200

Li Youjiu 918391635 :175:75:300

Lao Nanhai 918391635 :250:100:175

結束

2.2 【企業案例】統計/etc/services文件裏面的空行數量

2.2.1 使用awk的END模式

前面的i++先進行計算，再輸出結果。

i=i+1 與i++ 相同。

[[email protected] ~]# awk ‘/^$/{i=i+1}END{print i}‘ /etc/services

16

[[email protected] ~]# awk ‘/^$/{i++}END{print i}‘ /etc/services

16

2.2.2 查看i++的執行過程

i++與i=i+1相同。

i=i+$0 累計相加 計算總和

i=i+1 i++ 計數

[[email protected] ~]# awk ‘/^$/{i++;print i}‘ /etc/services

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

2.2.3 其他方法：

uniq -c uniq 命令把相鄰兩行一樣的合並，-c為統計出現的次數

[[email protected] ~]# awk ‘/^$/‘ /etc/services|uniq -c

16

[[email protected] ~]# awk ‘/^$/‘ /etc/services|wc -l

16

2.3 【案例】seq 100 >num.txt ，計算這個文件每一行相加的結果

i=i+$0 累計相加 計算總和

i=i+1 i++ 計數

沒有賦初始值的時候
i++ 先返回0,再加1,第二次調用的時候先返回1,再加1,以此類推

[[email protected] ~]# awk ‘{i=i+$0}END{print i}‘ num.txt

5050

第3章 awk數組

3.1 數組是用來做什麽的？

分類計算，用於統計。

3.1.1 他能夠幹些什麽？

統計日誌文件中 圖片.jpg 出現了多少次

統計日誌文件中 圖片.png 出現了多少次

統計更累的信息

3.2 數組詳解---"老男孩酒店"

假設我們的酒店叫老男孩教育酒店

老男孩教育酒店<===>hotel

酒店裏面有幾個房間110,119,120,114,401這幾個房間。

老男孩教育酒店的110房間<===> hotel[110]

老男孩教育酒店的119房間<===> hotel[119]

老男孩教育酒店的120房間<===> hotel[121]

酒店房間裏面入住客人

3.2.1 如何查看房間裏住的是哪位客人？

[[email protected] files]# awk ‘BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin";print hotel[110],hotel[121],hotel[119]}‘

lidao taojin tanjiaoshou

3.2.2 使用for語句，對酒店進行循環/查房

awk ‘BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin";

for(pol in hotel)

print pol,hotel[pol]

}‘

格式：

for(變量 in 數組) 使用變量對酒店進行循環/查房

print pol,hotel[pol] ：

pol 得到-房間的號碼

hotel[pol] 哪個酒店的哪個房間

[[email protected] files]# awk ‘BEGIN{hotel[110]="lidao" ;hotel[119]="tanjiaoshou";hotel[121]="taojin"

> for(pol in hotel)

> print pol,hotel[pol]

> }‘

110 lidao

121 taojin

119 tanjiaoshou

3.3 【企業面試題】統計域名訪問次數（去重統計）。處理以下文件內容,將域名取出並根據域名進行計數排序處理:(百度和sohu面試題)

http://www.etiantian.org/index.html

http://www.etiantian.org/1.html

http://post.etiantian.org/index.html

http://mp3.etiantian.org/index.html

http://www.etiantian.org/3.html

http://post.etiantian.org/2.html

3.3.1 方法一：sort uniq

uniq 命令 把相鄰兩行一樣的合並

[[email protected] ~]# awk -F ‘[/]+‘ ‘{print $2}‘ www.txt |uniq -c

2 www.etiantian.org

1 post.etiantian.org

1 mp3.etiantian.org

1 www.etiantian.org

sort 排序，默認是按照字母的順序

[[email protected] ~]# awk -F ‘[/]+‘ ‘{print $2}‘ www.txt |sort

mp3.etiantian.org

post.etiantian.org

www.etiantian.org

www.etiantian.org

www.etiantian.org

3.3.2 方法2 awk數組

3.3.2.1 第一步 取出域名

[[email protected] ~]# awk -F ‘[/]+‘ ‘{print $2}‘ www.txt

www.etiantian.org

www.etiantian.org

post.etiantian.org

mp3.etiantian.org

www.etiantian.org

3.3.2.2 第二步 顯示

; 兩條命令之間用分號分割。

[[email protected] ~]# awk -F ‘/+‘ ‘{hotel[$2]++;print hotel["www.etiantian.org"]}‘ www.txt

1

2

2

2

3

3.3.2.3 第三步 顯示結果

[[email protected] ~]# awk -F ‘/+‘ ‘{hotel[$2]++}END{for(pol in hotel)print pol,hotel[pol]}‘ www.txt

mp3.etiantian.org 1

post.etiantian.org 1

www.etiantian.org 3

第4章 課後題目：

兩個文件 secure.zip access.zip

4.1 統計secure文件中誰在破解你的密碼（統計出破解你密碼的ip地址出現的次數）

4.1.1 方法一

[[email protected] test]# awk ‘/Failed/{fa[$(NF-3)]++}END{for(pol in fa)print pol,fa[pol]}‘ secure-20161219|column -t

218.65.30.126 17163

218.65.30.61 17163

125.16.71.175 4

169.46.38.74 9

183.136.238.78 30

218.2.0.16 10

122.228.238.66 1

……

4.1.2 方法二

[[email protected] test]# awk ‘/Failed/{print $(NF-3)}‘ secure-20161219 |sort|uniq -c|sort -n

4.1.3 結果統計

[[email protected] test]# awk ‘/Failed/{fa[$(NF-3)]++}END{for(pol in fa)print pol,fa[pol]}‘ secure-20161219|column -t|wc -l

88

4.2 統計access.log文件中對ip地址去重並統計重復數

[[email protected] test]# awk ‘{hotel[$1]++}END{for(pol in hotel)print pol,hotel[pol]}‘ access.log |head -3

101.226.125.115 284

180.154.137.177 516

101.226.125.116 127

4.3 統計access.log文件中網站一共使用了多少流量

[[email protected] test]# awk ‘{i=i+$10}END{print i}‘ access.log

2478496663

awk詳解 數組

相關推薦

awk詳解 數組

破解 區塊 init family 習題 pac 表示 pattern 處理 第1章 awk命令基礎 1.1 awk命令執行過程 1、如果BEGIN 區塊存在，awk執行它指定的動作。 2、awk從輸入文件中讀取一行，稱為一條輸入記錄。如果輸入文件省略，將從標準輸入讀

【Vue】詳解Vue組件系統

最終 文件 type html中 emit 監聽 做了 駝峰命名 操作 Vue渲染的兩大基礎方式 new 一個Vue的實例 這個我們一般會使用在掛載根節點這一初始化操作上： new Vue({ el: ‘#app‘ }) 註冊組件並使用 通過

awk詳解及舉例

awk AWK語言 v 選項：-F ：指明輸入時用到的字段分隔符-v var=value: 定義變量v 分割符、域和記錄 awk 執行時，由 分隔符分隔的字段（域）標記$1,$2..$n稱 稱為域標識。$0 為所有域，註意：和shell 中變量$ 符含義不同 文件的每一行稱為記錄 省略action行 ，

grep, sed 與 awk 詳解

grep sed 與 awk 詳解 grep, sed 與 awk 相當有用 !gerp 查找, sed 編輯, awk 根據內容分析並處理. awk(關鍵字:分析&處理) 一行一行的分析處理 awk ‘條件類型1{動作1}條件類型2{動作2}‘ filename, awk 也可以讀取來自前一

awk詳解使用用法

awkawk 流編輯器 適合處理有行有列 比較規則的文本 awk 讀入一行，執行一次主輸入循環#awk ‘BEGIN{} {}END{}‘ 文件名稱BEGIN{}處理所有文本之前執行 不想執行可以不加BEGIN{} 主輸入循環END{} 處理所有文本之後的執行 可選 {}中字符串必須加“” 如

linux awk詳解

自然 小寫 功能 () 取字符 求和 不同 pan 詳解 awk: 　　awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯， 　　awk在其對數據分析並生成報告時，顯得尤為強大。 　　簡單來說awk就是把文件逐行的讀入，以空格為默認分隔符將

linux四劍客-grep/find/sed/awk/詳解-技術流ken

1.四劍客簡介 相信接觸過linux的大家應該都學過或者聽過四劍客，即sed,grep,find,awk,有人對其望而生畏，有人對其愛不釋手。引數太多，變化形式太多，使用超級靈活，讓一部分人難以適從繼而望而生畏，淺嘗輒止即罷。有人熟練掌握，使其四劍客為己所用，在分析日誌，分析文字，統計，批量修改中游刃有餘，大

詳解元組、列表、字典、集合

下面我們要了解以下資料型別 元組 列表 字典 集合 一、元組(tuple) 1.元組的建立(可以把元組看作一個容器，任何資料型別都可以放在裡面) 通過賦值方法建立元組 In [5]: t = ("hello",2.3,2,True,{1:"

Linux 命令 awk 詳解

awk簡介awk其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan姓氏的首個字母。實際上 AWK 的確擁有自己的語言： AWK 程式設計語言，三位建立者已將它正式定義為“樣式掃描和處理語言”。它允許您建立簡短的

AWK-詳解著名的awk Oneliner，第三部分：選擇性輸出特定行

awk ' NR < 11 ' 如前所述，這裡省略了動作，即為列印輸出。匹配模式是變數NR需要小於11，NR即為當前的行號。這個寫法很簡單，但是有一個問題，在NR大於10的時候，awk其實還是對每行進行了判斷，如果檔案很大，比如說有上萬行，浪費的時間是無法忽略的。所以，更好的寫法是 awk '1;

c語言字符數組與字符串的使用詳解

變量名 () 有效 檢測 指針變量 增加 ram 字符串 系統 轉自http://www.jb51.net/article/37456.htm 1、字符數組的定義與初始化字符數組的初始化，最容易理解的方式就是逐個字符賦給數組中各元素。char str[10]={ ‘I‘,‘

JavaScript中數組對象詳解

稀疏數組 nsh isa 學習過程 bnf value 明顯 global sci Array對象即數組對象用於在單個變量中存儲多個值，JS的數組是弱類型的，所以允許數組中含有不同類型的元素，數組元素甚至可以是對象或者其他數組。 創建數組的語法 1、Array構造器 1

Arrays 類的 binarySearch() 數組查詢方法詳解

strong object tro search mage bject 技術分享 eight 獲得 Arrays類的binarySearch()方法，可以使用二分搜索法來搜索指定的數組，以獲得指定對象。該方法返回要搜索元素的索引值。binarySearch()方法提供多種重

php中二維數組排序問題方法詳解

ges cti cmp each ace esc 對數 x11 用法 PHP中二維數組排序，可以使用PHP內置函數uasort() 示例一： 使用用戶自定義的比較函數對數組中的值進行排序並保持索引關聯 回調函數如下：註意回調函數的返回值是負數或者是false的時候，表

Linux 命令詳解（十）Shell腳本的數組詳解

cti err art case lin start shell pre round 1、數組定義 [[email protected] ~]# a=(1 2 3 4 5 6 7 8) [[email protected]-IDC ~]# echo $

JS數組定義及詳解

多維 wan bsp 數據類型 長度 內存地址 函數 js數組 obj 1、什麽是數組 數組就是一組數據的集合 其表現形式就是內存中的一段連續的內存地址 數組名稱其實就是連續內存地址的首地址 2、關於js中的數組特點 數組定義時無需指定數據類型 數組定義時可以無需指定數

後綴數組代碼詳解

技術 決定 getheight break 所在 離散 兩個 tps wid 說起來學了很久的後綴數組了 思想還是很容易明白的 最大的問題就是 代碼看不懂 然後在不斷模擬研究的過程中 終於弄清楚了一點 就決定寫下來了 不然又會忘的QAQ 以下是代碼 ps：首先要弄懂基數排

js數組中foEach和map的用法詳解 jq中的$.each和$.map

cnblogs arr 對象 cal for index source asc 原生js 數組中foEach和map的用法詳解 相同點： 1.都是循環遍歷數組(僅僅是數組)中的每一項。 2.forEach() 和 map() 裏面每一次執行匿名函數都支持3個參數：數組中的

Java數組詳解

gpo tr1 引用數據類型 package 隱式 列數 i++ 類型 nbsp 一、數組的概念 數組是多個相同類型數據的組合，實現對這些數據的統一管理 數組中的元素可以是任何數據類型，包括基本數據類型和引用數據類型 數組屬引用類型，數組型數

數組filter()參數詳解，巧用filter()數組去重

查找 這樣的 一次循環 lte console 得出 func AS body 數組方法挺多，但是用來用去可能也就foreach，splice以及slice接觸較多，filter()說實話之前也沒過多了解。其實filter()為數組提供過濾功能，它會遍歷數組所