1. 程式人生 > >awk技巧(如取某一行資料中的倒數第N列等)

awk技巧(如取某一行資料中的倒數第N列等)

使用awk取某一行資料中的倒數第N列$(NF-(n-1))
比如取/etc/passwd檔案中的第2列、倒數第1、倒數第2、倒數第4列(以冒號為分隔符)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

[[email protected] ~]# cat /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:

/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

 

[[email protected] ~]# awk -F":" '{print $2,$(NF),$(NF-1),$(NF-3)}' /etc/passwd

/bin/bash /root 0

/sbin/nologin /bin 1

/sbin/nologin /sbin 2

/sbin/nologin /var/adm 4

/sbin/nologin /var/spool/lpd 7

/bin/sync /sbin 0

/sbin/shutdown /sbin 0

/sbin/halt /sbin 0

/sbin/nologin

 /var/spool/mail 12

/sbin/nologin /root 0

linux實現將文字檔案每一行中相同第一列對應的其他列進行拼接

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

[[email protected] ~]# sort b.txt|uniq

1    34

1    49

2    45

2    48

3    54

3    57

3    89

 

[[email protected] ~]# sort b.txt|uniq|awk '{a[$1]=(a[$1]" "$2);} END{for(i in a) print i ":"a[i]}'

1: 34 49

2: 45 48

3: 54 57 89

 

命令解析:

1)首先sort test|uniq實現對test檔案的去重,去掉了重複的 1 49,保留不同的行;

2)awk '{a[$1]=(a[$1]" "$2);} END{for(i in a) print i ":"a[i]}' 表示的含義是: 將每一行的第一列最為陣列a的key,

   第二列作為a的value,同時碰到相同的key,就把其值進行拼接,linux的shell的字串拼接形式為str = (str  “ ” $var),

   最後遍歷陣列a,其中i為陣列a的每一個key,a[i]為key對應的值;

使用awk命令獲取文字的某一行,某一列的技巧:

1

2

3

4

5

6

1)列印檔案的第一列(域) : awk '{print $1}' filename

2)列印檔案的前兩列(域) : awk '{print $1,$2}' filename

3)列印完第一列,然後列印第二列 : awk '{print $1 $2}' filename

4)列印文字檔案的總行數 : awk 'END{print NR}' filename

5)列印文字第一行 :awk 'NR==1{print}' filename

6)列印文字第二行第一列 :sed -n "2, 1p" filename | awk 'print $1'

Awk取檔案中的指定資料

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

[[email protected] ~]# cat a.txt

123.122.123.12 12121212

121.2332.121.11 232323

255.255.255.255 21321

123.122.123.12 12121212

123.122.123.12 1212121er2

123.122.123.12 12121212eer

123.122.123.12 12121212ere

255.255.255.255 21321

121.2332.121.11 232323

255.255.255.255 21321

 

[[email protected] ~]# cat a.txt|awk '{print $1}'

123.122.123.12

121.2332.121.11

255.255.255.255

123.122.123.12

123.122.123.12

123.122.123.12

123.122.123.12

255.255.255.255

121.2332.121.11

255.255.255.255

 

[[email protected] ~]# cat a.txt|awk '{print $1}'|sort|uniq -c

      2 121.2332.121.11

      5 123.122.123.12

      3 255.255.255.255

 

[[email protected] ~]# cat a.txt|awk '{print $1}'|sort|uniq -c|awk '{print $2,$1}'

121.2332.121.11 2

123.122.123.12 5

255.255.255.255 3

 

[[email protected] ~]# cat a.txt|awk '{print $1}'|sort|uniq -c|awk '{print $2,$1}'|sort -k2 -rn

123.122.123.12 5

255.255.255.255 3

121.2332.121.11 2

linux檔案按大小來排序

1

2

3

4

5

6

[[email protected] ~]# ls -s | sort -k 1 -n

表示對第一個欄位(即檔案大小)按數值大小進行排序;

如果想倒序,可以增加-r引數;

sort命令可進行排序;

-k引數表示對第幾個欄位進行排序;

ls -s:第一列顯示的是檔案大小

定時刪除resin日誌的指令碼,每小時刪除一次

1

2

3

4

5

6

[[email protected] ~]# cat resin-log.sh

#!/bin/bash

cd /data/log/resin && find /data/log/resin \( -name "*jvm-app-0.log.*" -a ! -name "*.gz" \) -a -mmin +30 -exec gzip  {} \;

 

[[email protected] ~]# crontab -l

0 * * * * /bin/bash -x /root/resin-log.sh >/dev/null 2>&1

***************當你發現自己的才華撐不起野心時,就請安靜下來學習吧***************