awk 入門教程

AWK · 發表 2018-11-07 22:18:16

摘要： awk是處理文字檔案的一個應用程式，幾乎所有 Linux 系統都自帶這個程式。它依次處理檔案的每一行，並讀取裡面的每一個欄位。對於日誌、CSV 那樣的每行格式相同的文字檔案， awk 可能是最方便的工具。 awk 其實不僅僅是工具軟體，還是一種程式語言。不過...

ofollow,noindex" target="_blank"> awk 是處理文字檔案的一個應用程式，幾乎所有 Linux 系統都自帶這個程式。

它依次處理檔案的每一行，並讀取裡面的每一個欄位。對於日誌、CSV 那樣的每行格式相同的文字檔案， awk 可能是最方便的工具。

awk 其實不僅僅是工具軟體，還是一種程式語言。不過，本文只介紹它的命令列用法，對於大多數場合，應該足夠用了。

一、基本用法

awk 的基本用法就是下面的形式。

 
# 格式
$ awk 動作 檔名
 
# 示例
$ awk '{print $0}' demo.txt

上面示例中， demo.txt 是 awk 所要處理的文字檔案。前面單引號內部有一個大括號，裡面就是每一行的處理動作 print $0 。其中， print 是列印命令， $0 代表當前行，因此上面命令的執行結果，就是把每一行原樣打印出來。

awk 也可以處理標準輸入（stdin）。

 
$ echo 'this is a test' | awk '{print $0}'
this is a test

上面程式碼中， print $0 就是把標準輸入 this is a test ，重新列印了一遍。

awk 會根據空格和製表符，將每一行分成若干欄位，依次用 $1 、 $2 、 $3 代表第一個欄位、第二個欄位、第三個欄位等等。

 
$ echo 'this is a test' | awk '{print $3}'
a

上面程式碼中， $3 代表 this is a test 的第三個欄位 a 。

下面，為了便於舉例，我們把 /etc/passwd 檔案儲存成 demo.txt 。

 
root:x:0:0:root:/root:/usr/bin/zsh
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync

這個檔案的欄位分隔符是冒號（ : ），所以要用 -F 引數指定分隔符為冒號。然後，才能提取到它的第一個欄位。

 
$ awk -F ':' '{ print $1 }' demo.txt
root
daemon
bin
sys
sync

二、變數

除了 $ + 數字 表示某個欄位， awk 還提供其他一些變數。

變數 NF 表示當前行有多少個欄位，因此 $NF 就代表最後一個欄位。

 
$ echo 'this is a test' | awk '{print $NF}'
test

$(NF-1) 代表倒數第二個欄位。

 
$ awk -F ':' '{print $1, $(NF-1)}' demo.txt
root /root
daemon /usr/sbin
bin /bin
sys /dev
sync /bin

上面程式碼中， print 命令裡面的逗號，表示輸出的時候，兩個部分之間使用空格分隔。

變數 NR 表示當前處理的是第幾行。

 
$ awk -F ':' '{print NR ") " $1}' demo.txt
1) root
2) daemon
3) bin
4) sys
5) sync

上面程式碼中， print 命令裡面，如果原樣輸出字元，要放在雙引號裡面。

awk 的其他內建變數如下。

FILENAME ：當前檔名
FS ：欄位分隔符，預設是空格和製表符。
RS ：行分隔符，用於分割每一行，預設是換行符。
OFS ：輸出欄位的分隔符，用於列印時分隔欄位，預設為空格。
ORS ：輸出記錄的分隔符，用於列印時分隔記錄，預設為換行符。
OFMT ：數字輸出的格式，預設為 ％.6g 。

三、函式

awk 還提供了一些內建函式，方便對原始資料的處理。

函式 toupper() 用於將字元轉為大寫。

 
$ awk -F ':' '{ print toupper($1) }' demo.txt
ROOT
DAEMON
BIN
SYS
SYNC

上面程式碼中，第一個欄位輸出時都變成了大寫。

其他常用函式如下。

tolower()
length()
substr()
sin()
cos()
sqrt()
rand()

awk 內建函式的完整列表，可以檢視手冊。

四、條件

awk 允許指定輸出條件，只輸出符合條件的行。

輸出條件要寫在動作的前面。

 
$ awk '條件 動作' 檔名

請看下面的例子。

 
$ awk -F ':' '/usr/ {print $1}' demo.txt
root
daemon
bin
sys

上面程式碼中， print 命令前面是一個正則表示式，只輸出包含 usr 的行。

下面的例子只輸出奇數行，以及輸出第三行以後的行。

 
# 輸出奇數行
$ awk -F ':' 'NR % 2 == 1 {print $1}' demo.txt
root
bin
sync
 
# 輸出第三行以後的行
$ awk -F ':' 'NR >3 {print $1}' demo.txt
sys
sync

下面的例子輸出第一個欄位等於指定值的行。

 
$ awk -F ':' '$1 == "root" {print $1}' demo.txt
root
 
$ awk -F ':' '$1 == "root" || $1 == "bin" {print $1}' demo.txt
root
bin

五、if 語句

awk 提供了 if 結構，用於編寫複雜的條件。

 
$ awk -F ':' '{if ($1 > "m") print $1}' demo.txt
root
sys
sync

上面程式碼輸出第一個欄位的第一個字元大於 m 的行。

if 結構還可以指定 else 部分。

 
$ awk -F ':' '{if ($1 > "m") print $1; else print "---"}' demo.txt
root
---
---
sys
sync

六、參考連結

An Awk tutorial by Example , Greg Grothaus
30 Examples for Awk Command in Text Processing , Mokhtar Ebrahim

（完）