原文地址：http://blog.sina.com.cn/s/blog_5dce657a01012ddi.html   作者：小新

例項
cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100
統計檔案中出現次數最多的前10個單詞
使用linux命令或者shell實現：檔案words存放英文單詞，格式為每行一個英文單詞（單詞可以重複），統計這個檔案中出現次數最多的前10個單詞。

cat words.txt | sort | uniq -c | sort -k1,1nr | head -10

　　主要考察對sort、uniq命令的使用，相關解釋如下，命令及引數的詳細說明請自行通過man檢視，簡單介紹下以上指令各部分的功能：

sort:  對單詞進行排序

uniq -c:  顯示唯一的行，並在每行行首加上本行在檔案中出現的次數

sort -k1,1nr:  按照第一個欄位，數值排序，且為逆序

head -10:  取前10行資料

sort
sort是在Linux裡非常常用的一個命令，管排序的，集中精力，五分鐘搞定sort，現在開始！

1 sort的工作原理

sort將檔案的每一行作為一個單位，相互比較，比較原則是從首字元向後，依次按ASCII碼值進行比較，最後將他們按升序輸出。

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
[

[email protected] programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u選項

它的作用很簡單，就是在輸出行中去除重複行。

[[email protected] programming]$ cat seq.txt
banana
apple
pear
orange
pear
[[email protected] programming]$ sort seq.txt
apple
banana
orange
pear
pear
[[email protected] programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由於重複被-u選項無情的刪除了。

3 sort的-r選項

sort預設的排序方式是升序，如果想改成降序，就加個-r就搞定了。

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort number.txt
1
2
3
4
5
[[email protected] programming]$ sort -r number.txt
5
4
3
2
1

4 sort的-o選項

由於sort預設是把結果輸出到標準輸出，所以需要用重定向才能將結果寫入檔案，形如sort filename > newfile。

但是，如果你想把排序結果輸出到原檔案中，用重定向可就不行了。

[[email protected] programming]$ sort -r number.txt > number.txt
[[email protected] programming]$ cat number.txt
[[email protected] programming]$
看，竟然將number清空了。

就在這個時候，-o選項出現了，它成功的解決了這個問題，讓你放心的將結果寫入原檔案。這或許也是-o比重定向的唯一優勢所在。

[[email protected] programming]$ cat number.txt
1
3
5
2
4
[[email protected] programming]$ sort -r number.txt -o number.txt
[[email protected] programming]$ cat number.txt
5
4
3
2
1

5 sort的-n選項

你有沒有遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程式將這些數字按字元來排序了，排序程式會先比較1和2，顯然1小，所以就將10放在2前面嘍。這也是sort的一貫作風。

我們如果想改變這種現狀，就要使用-n選項，來告訴sort，“要以數值來排序”！

[[email protected] programming]$ cat number.txt
1
10
19
11
2
5
[[email protected] programming]$ sort number.txt
1
10
11
19
2
5
[[email protected] programming]$ sort -n number.txt
1
2
5
10
11
19

6 sort的-t選項和-k選項

如果有一個檔案的內容是這樣：

[[email protected] programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

這個檔案有三列，列與列之間用冒號隔開了，第一列表示水果型別，第二列表示水果數量，第三列表示水果價格。

那麼我想以水果數量來排序，也就是以第二列來排序，如何利用sort實現？

幸好，sort提供了-t選項，後面可以設定間隔符。（是不是想起了cut和paste的-d選項，共鳴～～）

指定了間隔符之後，就可以用-k來指定列數了。

[[email protected] programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我們使用冒號作為間隔符，並針對第二列來進行數值升序排序，結果很令人滿意。

7 其他的sort常用選項

-f會將小寫字母都轉換為大寫字母來進行比較，亦即忽略大小寫

-c會檢查檔案是否已排好序，如果亂序，則輸出第一個亂序的行的相關資訊，最後返回1

-C會檢查檔案是否已排好序，如果亂序，不輸出內容，僅返回1

-M會以月份來排序，比如JAN小於FEB等等

-b會忽略每一行前面的所有空白部分，從第一個可見字元開始比較。

有時候學習指令碼，你會發現sort命令後面跟了一堆類似-k1,2，或者-k1.2 -k3.4的東東，有些匪夷所思。今天，我們就來搞定它—-k選項！

1 準備素材

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一個域是公司名稱，第二個域是公司人數，第三個域是員工平均工資。（除了公司名稱，其他的別信，都瞎寫的^_^）

2 我想讓這個檔案按公司的字母順序排序，也就是按第一個域進行排序：（這個facebook.txt檔案有三個域）

$ sort -t ‘ ‘ -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧，就直接用-k 1設定就可以了。（其實此處並不嚴格，稍後你就會知道）

3 我想讓facebook.txt按照公司人數排序

$ sort -n -t ‘ ‘ -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解釋，我相信你能懂。

但是，此處出現了問題，那就是baidu和sohu的公司人數相同，都是100人，這個時候怎麼辦呢？按照預設規矩，是從第一個域開始進行升序排序，因此baidu排在了sohu前面。

4  我想讓facebook.txt按照公司人數排序 ，人數相同的按照員工平均工資升序排序：

$ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看，我們加了一個-k2 -k3就解決了問題。對滴，sort支援這種設定，就是說設定域排序的優先順序，先以第2個域進行排序，如果相同，再以第3個域進行排序。（如果你願意，可以一直這麼寫下去，設定很多個排序優先順序）

5 我想讓facebook.txt按照員工工資降序排序，如果員工人數相同的，則按照公司人數升序排序：（這個有點難度嘍）

$ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此處有使用了一些小技巧，你仔細看看，在-k 3後面偷偷加上了一個小寫字母r。你想想，再結合我們上一篇文章，能得到答案麼？揭曉：r和-r選項的作用是一樣的，就是表示逆序。因為sort預設是按照升序排序的，所以此處需要加上r表示第三個域（員工平均工資）是按照降序排序。此處你還可以加上n，就表示對這個域進行排序時，要按照數值大小進行排序，舉個例子吧：

$ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看，我們去掉了最前面的-n選項，而是將它加入到了每一個-k選項中了。

6 -k選項的具體語法格式

要繼續往下深入的話，就不得不來點理論知識。你需要了解-k選項的語法格式，如下：

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

這個語法格式可以被其中的逗號（“，”）分為兩大部分，Start部分和End部分。

先給你灌輸一個思想，那就是“如果不設定End部分，那麼就認為End被設定為行尾”。這個概念很重要的，但往往你不會重視它。

Start部分也由三部分組成，其中的Modifier部分就是我們之前說過的類似n和r的選項部分。我們重點說說Start部分的FStart和C.Start。

C.Start也是可以省略的，省略的話就表示從本域的開頭部分開始。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。

FStart.CStart，其中FStart就是表示使用的域，而CStart則表示在FStart域中從第幾個字元開始算“排序首字元”。

同理，在End部分中，你可以設定FEnd.CEnd，如果你省略.CEnd，則表示結尾到“域尾”，即本域的最後一個字元。或者，如果你將CEnd設定為0(零)，也是表示結尾到“域尾”。

7 突發奇想，從公司英文名稱的第二個字母開始進行排序：

$ sort -t ‘ ‘ -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看，我們使用了-k 1.2，這就表示對第一個域的第二個字元開始到本域的最後一個字元為止的字串進行排序。你會發現baidu因為第二個字母是a而名列榜首。sohu和 google第二個字元都是o，但sohu的h在google的o前面，所以兩者分別排在第二和第三。guge只能屈居第四了。

8 又突發奇想，，只針對公司英文名稱的第二個字母進行排序，如果相同的按照員工工資進行降序排序：

$ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由於只對第二個字母進行排序，所以我們使用了-k 1.2,1.2的表示方式，表示我們“只”對第二個字母進行排序。（如果你問“我使用-k 1.2怎麼不行？”，當然不行，因為你省略了End部分，這就意味著你將對從第二個字母起到本域最後一個字元為止的字串進行排序）。對於員工工資進行排 序，我們也使用了-k 3,3，這是最準確的表述，表示我們“只”對本域進行排序，因為如果你省略了後面的3，就變成了我們“對第3個域開始到最後一個域位置的內容進行排序” 了。

9 在modifier部分還可以用到哪些選項？

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已經很熟悉了。

b表示忽略本域的簽到空白符號。

d表示對本域按照字典順序排序（即，只考慮空白和字母）。

f表示對本域忽略大小寫進行排序。

i表示忽略“不可列印字元”，只針對可列印字元進行排序。（有些ASCII就是不可列印字元，比如\a是報警，\b是退格，\n是換行，\r是回車等等）

10 思考思考關於-k和-u聯合使用的例子：

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

這是最原始的facebook.txt檔案。

$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

當設定以公司員工域進行數值排序，然後加-u後，sohu一行就被刪除了！原來-u只識別用-k設定的域，發現相同，就將後續相同的行都刪除。

$ sort  -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

$ sort  -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

這個例子也同理，開頭字元是g的guge就沒有幸免於難。

$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦！這裡設定了兩層排序優先順序的情況下，使用-u就沒有刪除任何行。原來-u是會權衡所有-k選項，將都相同的才會刪除，只要其中有一級不同都不會輕易刪除的:)（不信，你可以自己加一行sina 100 4500試試看）

11 最詭異的排序：

$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二個域的第二個字元開始到第三個域的第一個字元結束的部分進行排序。

第一行，會提取0 3，第二行提取00 5，第三行提取00 4，第四行提取10 5。

又因為sort認為0小於00小於000小於0000….

因此0 3肯定是在第一個。10 5肯定是在最後一個。但為什麼00 5卻在00 4前面呢？（你可以自己做實驗思考一下。）

答案揭曉：原來“跨域的設定是個假象”，sort只會比較第二個域的第二個字元到第二個域的最後一個字元的部分，而不會把第三個域的開頭字元納入比較範圍。當發現00和00相同時，sort就會自動比較第一個域去了。當然baidu在sohu前面了。用一個範例即可證實：

$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有時候在sort命令後會看到+1 -2這些符號，這是什麼東東？

關於這種語法，最新的sort是這麼進行解釋的：

On older systems, `sort’ supports an obsolete origin-zero syntax `+POS1 [-POS2]‘ for specifying sort keys.  POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k’ instead.

原來，這種古老的表示方式已經被淘汰了，以後可以理直氣壯的鄙視使用這種表示方法的指令碼嘍！

（為了防止古老指令碼的存在，在這再說一下這種表示方法，加號表示Start部分，減號表示End部分。最最重要的一點是，這種方式方法是從0開始計數的，以前所說的第一個域，在此被表示為第0個域。以前的第2個字元，在此表示為第1個字元。明白？）

awk
http://www.tsnc.edu.cn/default/tsnc_wgrj/doc/awk.htm

Table of Contents

1. awk簡介
2. awk命令格式和選項

    2.1. awk的語法有兩種形式
    2.2. 命令選項

3. 模式和操作

    3.1. 模式
    3.2. 操作

4. awk的環境變數
5. awk運算子
6. 記錄和域

    6.1. 記錄
    6.2. 域
    6.3. 域分隔符

7. gawk專用正則表示式元字元
8. POSIX字符集
9. 匹配操作符(~)
10. 比較表示式
11. 範圍模板
12. 一個驗證passwd檔案有效性的例子
13. 幾個例項
14. awk程式設計

    14.1. 變數
    14.2. BEGIN模組
    14.3. END模組
    14.4. 重定向和管道
    14.5. 條件語句
    14.6. 迴圈
    14.7. 陣列
    14.8. awk的內建函式

15. How-to

1. awk簡介

awk是一種程式語言，用於在linux/unix下對文字和資料進行處理。資料可以來自標準輸入、一個或多個檔案，或其它命令的輸出。它支援使用者自定義函式和動態正則表示式等先進功能，是linux/unix下的一個強大程式設計工具。它在命令列中使用，但更多是作為指令碼來使用。awk的處理文字和資料的方式是這樣的，它逐行掃描檔案，從第一行到最後一行，尋找匹配的特定模式的行，並在這些行上進行你想要的操作。如果沒有指定處理動作，則把匹配的行顯示到標準輸出(螢幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。awk分別代表其作者姓氏的第一個字母。因為它的作者是三個人，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell實驗室和GNU的一些擴充套件。下面介紹的awk是以GUN的gawk為例的，在linux系統中已把awk連結到gawk，所以下面全部以awk進行介紹。
2. awk命令格式和選項
2.1. awk的語法有兩種形式

    awk [options] 'script' var=value file(s)

    awk [options] -f scriptfile var=value file(s)

2.2. 命令選項

-F fs or --field-separator fs

    指定輸入檔案折分隔符，fs是一個字串或者是一個正則表示式，如-F:。
-v var=value or --asign var=value

    賦值一個使用者定義變數。
-f scripfile or --file scriptfile

    從指令碼檔案中讀取awk命令。
-mf nnn and -mr nnn

    對nnn值設定內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴充套件功能，在標準awk中不適用。
-W compact or --compat, -W traditional or --traditional

    在相容模式下執行awk。所以gawk的行為和標準的awk完全一樣，所有的awk擴充套件都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright

    列印簡短的版權資訊。
-W help or --help, -W usage or --usage

    列印全部awk選項和每個選項的簡短說明。
-W lint or --lint

    列印不能向傳統unix平臺移植的結構的警告。
-W lint-old or --lint-old

    列印關於不能向傳統unix平臺移植的結構的警告。
-W posix

    開啟相容模式。但有以下限制，不識別：\x、函式關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval

    允許間隔正則表示式的使用，參考(grep中的Posix字元類)，如括號表示式[[:alpha:]]。
-W source program-text or --source program-text

    使用program-text作為原始碼，可與-f命令混用。
-W version or --version

    列印bug報告資訊的版本。

3. 模式和操作

awk指令碼是由模式和操作組成的：

    pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。

兩者是可選的，如果沒有模式，則action應用到全部記錄，如果沒有action，則輸出匹配全部記錄。預設情況下，每一個輸入行都是一條記錄，但使用者可通過RS變數指定不同的分隔符進行分隔。
3.1. 模式

模式可以是以下任意一個：

    /正則表示式/：使用萬用字元的擴充套件集。

    關係表示式：可以用下面運算子表中的關係運算符進行操作，可以是字串或數字的比較，如$2>%1選擇第二個欄位比第一個欄位長的行。

    模式匹配表示式：用運算子~(匹配)和~!(不匹配)。

    模式，模式：指定一個行的範圍。該語法不能包括BEGIN和END模式。

    BEGIN：讓使用者指定在第一條輸入記錄被處理之前所發生的動作，通常可在這裡設定全域性變數。

    END：讓使用者在最後一條輸入記錄被讀取之後發生的動作。

3.2. 操作

操作由一人或多個命令、函式、表示式組成，之間由換行符或分號隔開，並位於大括號內。主要有四部份：

    變數或陣列賦值

    輸出命令

    內建函式

    控制流命令

4. awk的環境變數

Table 1. awk的環境變數
變數    描述
$n    當前記錄的第n個欄位，欄位間由FS分隔。
$0    完整的輸入記錄。
ARGC    命令列引數的數目。
ARGIND    命令列中當前檔案的位置(從0開始算)。
ARGV    包含命令列引數的陣列。
CONVFMT    數字轉換格式(預設值為%.6g)
ENVIRON    環境變數關聯陣列。
ERRNO    最後一個系統錯誤的描述。
FIELDWIDTHS    欄位寬度列表(用空格鍵分隔)。
FILENAME    當前檔名。
FNR    同NR，但相對於當前檔案。
FS    欄位分隔符(預設是任何空格)。
IGNORECASE    如果為真，則進行忽略大小寫的匹配。
NF    當前記錄中的欄位數。
NR    當前記錄數。
OFMT    數字的輸出格式(預設值是%.6g)。
OFS    輸出欄位分隔符(預設值是一個空格)。
ORS    輸出記錄分隔符(預設值是一個換行符)。
RLENGTH    由match函式所匹配的字串的長度。
RS    記錄分隔符(預設是一個換行符)。
RSTART    由match函式所匹配的字串的第一個位置。
SUBSEP    陣列下標分隔符(預設值是\034)。
5. awk運算子

Table 2. 運算子
運算子    描述
= += -= *= /= %= ^= **=    賦值
?:    C條件表示式
||    邏輯或
&&    邏輯與
~ ~!    匹配正則表示式和不匹配正則表示式
< <= > >= != ==    關係運算符
空格    連線
+ -    加，減
* / &    乘，除與求餘
+ - !    一元加，減和邏輯非
^ ***    求冪
++ --    增加或減少，作為字首或字尾
$    欄位引用
in    陣列成員
6. 記錄和域
6.1. 記錄

awk把每一個以換行符結束的行稱為一個記錄。

記錄分隔符：預設的輸入和輸出的分隔符都是回車，儲存在內建變數ORS和RS中。

$0變數：它指的是整條記錄。如$ awk '{print $0}' test將輸出test檔案中的所有記錄。

變數NR：一個計數器，每處理完一條記錄，NR的值就增加1。如$ awk '{print NR,$0}' test將輸出test檔案中所有記錄，並在記錄前顯示記錄號。
6.2. 域

記錄中每個單詞稱做“域”，預設情況下以空格或tab分隔。awk可跟蹤域的個數，並在內建變數NF中儲存該值。如$ awk '{print $1,$3}' test將列印test檔案中第一和第三個以空格分開的列(域)。
6.3. 域分隔符

內建變數FS儲存輸入域分隔符的值，預設是空格或tab。我們可以通過-F命令列選項修改FS的值。如$ awk -F: '{print $1,$5}' test將列印以冒號為分隔符的第一，第五列的內容。

可以同時使用多個域分隔符，這時應該把分隔符寫成放到方括號中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒號和tab作為分隔符。

輸出域的分隔符預設是一個空格，儲存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號就是OFS的值。
7. gawk專用正則表示式元字元

一般通用的元字符集就不講了，可參考我的Sed和Grep學習筆記。以下幾個是gawk專用的，不適合unix版本的awk。

\Y

    匹配一個單詞開頭或者末尾的空字串。
\B

    匹配單詞內的空字串。
\<

    匹配一個單詞的開頭的空字串，錨定開始。
\>

    匹配一個單詞的末尾的空字串，錨定末尾。
\w

    匹配一個字母數字組成的單詞。
\W

    匹配一個非字母數字組成的單詞。
\‘

    匹配字串開頭的一個空字串。
\'

    匹配字串末尾的一個空字串。

8. POSIX字符集

可參考我的Grep學習筆記
9. 匹配操作符(~)

用來在記錄或者域內匹配正則表示式。如$ awk '$1 ~/^root/' test將顯示test檔案第一列中以root開頭的行。
10. 比較表示式

conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大於第三個域，$1就賦值給max，否則$3就賦值給max。

$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大於100，則列印這些行。

$ awk '$1 > 5 && $2 < 10' test,如果第一個域大於5，並且第二個域小於10，則列印這些行。
11. 範圍模板

範圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間所有行。如果有一個模板沒出現，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的所有行。
12. 一個驗證passwd檔案有效性的例子

1$ cat /etc/passwd | awk -F: '\
2NF != 7{\
3printf("line %d,does not have 7 fields:%s\n",NR,$0)}\
4$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %s\n,NR,$0)}\
5$2 == "*" {printf("line %d, no password: %s\n",NR,$0)}'

1    

cat把結果輸出給awk，awk把域之間的分隔符設為冒號。
2    

如果域的數量(NF)不等於7，就執行下面的程式。
3    

printf列印字串"line ?? does not have 7 fields"，並顯示該條記錄。
4    

如果第一個域沒有包含任何字母和數字，printf列印“no alpha and numeric user id" ，並顯示記錄數和記錄。
5    

如果第二個域是一個星號，就列印字串“no passwd”，緊跟著顯示記錄數和記錄本身。
13. 幾個例項

    $ awk '{print $3}' test-----擷取第三域(列)的內容。

    $ awk '/^(no|so)/' test-----列印所有以模式no或so開頭的行。

    $ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就列印這個記錄。

    $ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個域以兩個數字結束就列印這個記錄。

    $ awk '$1 == 100 || $2 < 50' test-----如果第一個或等於100或者第二個域小於50，則列印該行。

    $ awk '$1 != 10' test-----如果第一個域不等於10就列印該行。

    $ awk '/test/{print $1 + 10}' test-----如果記錄包含正則表示式test，則第一個域加10並打印出來。

    $ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個域大於5則列印問號後面的表示式值，否則列印冒號後面的表示式值。

    $ awk '/^root/,/^mysql/' test----列印以正則表示式root開頭的記錄到以正則表示式mysql開頭的記錄範圍內的所有記錄。如果找到一個新的正則表示式root開頭的記錄，則繼續列印直到下一個以正則表示式mysql開頭的記錄為止，或到檔案末尾。

14. awk程式設計
14.1. 變數

    在awk中，變數不需要定義就可以直接使用，變數型別可以是數字或字串。

    賦值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先掃描第一個域，一旦test匹配，就把第二個域的值加上第三個域的值，並把結果賦值給變數count，最後打印出來。

    awk可以在命令列中給變數賦值，然後將這個變數傳輸給awk指令碼。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定義變數，分別被賦值為4和2004。在awk指令碼中，這些變數使用起來就象是在指令碼中建立的一樣。注意，如果引數前面出現test，那麼在BEGIN語句中的變數就不能被使用。

    域變數也可被賦值和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，如果第二個域不存在，awk將計算表示式100加$1的值，並將其賦值給$2，如果第二個域存在，則用表示式的值覆蓋$2原來的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，如果第一個域的值是“root”，則把它賦值為“test”，注意，字串一定要用雙引號。

    內建變數的使用。變數列表在前面已列出，現在舉個例子說明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE設為1代表忽略大小寫，列印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。

14.2. BEGIN模組

BEGIN模組後緊跟著動作塊，這個動作塊在awk處理任何輸入檔案之前執行。所以它可以在沒有任何輸入的情況下進行測試。它通常用來改變內建變數的值，如OFS,RS和FS等，以及列印標題。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在處理輸入檔案以前，域分隔符(FS)被設為冒號，輸出檔案分隔符(OFS)被設定為製表符，輸出記錄分隔符(ORS)被設定為兩個換行符。$ awk 'BEGIN{print "TITLE TEST"}只打印標題。
14.3. END模組

END不匹配任何的輸入檔案，但是執行動作塊中的所有動作，它在整個輸入檔案處理完成後被執行。如$ awk 'END{print "The number of records is" NR}' test，上式將列印所有被處理的記錄數。
14.4. 重定向和管道

    awk可使用shell的重定向符進行重定向輸出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一個域的值等於100，則把它輸出到output_file中。也可以用>>來重定向輸出，但不清空檔案，只做追加操作。

    輸出重定向需用到getline函式。getline從標準輸入、管道或者當前正在處理的檔案之外的其他輸入檔案獲得輸入。它負責從輸入獲得下一行的內容，並給NF,NR和FNR等內建變數賦值。如果得到一條記錄，getline函式返回1，如果到達檔案的末尾就返回0，如果出現錯誤，例如開啟檔案失敗，就返回-1。如：

    $ awk 'BEGIN{ "date" | getline d; print d}' test。執行linux的date命令，並通過管道輸出給getline，然後再把輸出賦值給自定義變數d，並列印它。

    $ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。執行shell的date命令，並通過管道輸出給getline，然後getline從管道中讀取並將輸入賦值給d，split函式把變數d轉化成陣列mon，然後列印陣列mon的第二個元素。

    $ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的輸出傳遞給geline作為輸入，迴圈使getline從ls的輸出中讀取一行，並把它列印到螢幕。這裡沒有輸入檔案，因為BEGIN塊在開啟輸入檔案前執行，所以可以忽略輸入檔案。

    $ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在螢幕上列印”What is your name?",並等待使用者應答。當一行輸入完畢後，getline函式從終端接收該行輸入，並把它儲存在自定義變數name中。如果第一個域匹配變數name的值，print函式就被執行，END塊列印See you和name的值。

    $ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk將逐行讀取檔案/etc/passwd的內容，在到達檔案末尾前，計數器lc一直增加，當到末尾時，列印lc的值。注意，如果檔案不存在，getline返回-1，如果到達檔案的末尾就返回0，如果讀到一行，就返回1，所以命令 while (getline < "/etc/passwd")在檔案不存在的情況下將陷入無限迴圈，因為返回-1表示邏輯真。

    可以在awk中開啟一個管道，且同一時刻只能有一個管道存在。通過close()可關閉管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print語句的輸出通過管道作為linux命令sort的輸入,END塊執行關閉管道操作。

    system函式可以在awk中執行linux的命令。如：$ awk 'BEGIN{system("clear")'。

    fflush函式用以重新整理輸出緩衝區，如果沒有引數，就重新整理標準輸出的緩衝區，如果以空字串為引數，如fflush(""),則重新整理所有檔案和管道的輸出緩衝區。

14.5. 條件語句

awk中的條件語句是從C語言中借鑑過來的，可控制程式的流程。
14.5.1. if語句

格式：
        {if (expression){
                   statement; statement; ...
                     }
        }

$ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一個域小於第二個域則列印。

$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一個域小於第二個域，則count加一，並列印ok。
14.5.2. if/else語句，用於雙重判斷。

格式：
        {if (expression){
                   statement; statement; ...
                       }
        else{
                   statement; statement; ...
                       }
        }

$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。如果$1大於100則列印$1 bad,否則列印ok。

$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。如果$1大於100，則count加一，並列印$1，否則count減一，並列印$1。
14.5.3. if/else else if語句，用於多重判斷。

格式：
        {if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else if (expression){
                    statement; statement; ...
                   }
        else {
                   statement; statement; ...
             }
        }

14.6. 迴圈

    awk有三種迴圈:while迴圈；for迴圈；special for迴圈。

    $ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變數的初始值為1，若i小於可等於NF(記錄中域的個數),則執行列印語句，且i增加1。直到i的值大於NF.

    $ awk '{for (i = 1; i<NF; i++) print NF,$i}' test。作用同上。

    breadkcontinue語句。break用於在滿足條件的情況下跳出迴圈；continue用於在滿足條件的情況下忽略後面的語句，直接返回迴圈的頂端。如：

    {for ( x=3; x<=NF; x++)
                if ($x<0){print "Bottomed out!"; break}}
    {for ( x=3; x<=NF; x++)
                if ($x==0){print "Get next item"; continue}}
         

    next語句從輸入檔案中讀取一行，然後從頭開始執行awk指令碼。如：

    {if ($1 ~/test/){next}
        else {print}
    }
        

    exit語句用於結束awk程式，但不會略過END塊。退出狀態為0代表成功，非零值表示出錯。

14.7. 陣列

awk中的陣列的下標可以是數字和字母，稱為關聯陣列。
14.7.1. 下標與關聯陣列

    用變數作為陣列下標。如：$ awk {name[x++]=$2};END{for(i=0;i<NR;i++) print i,name[i]}' test。陣列name中的下標是一個自定義變數x，awk初始化x的值為0，在每次使用後增加1。第二個域的值被賦給name陣列的各個元素。在END模組中，for迴圈被用於迴圈整個陣列，從下標為0的元素開始，列印那些儲存在陣列中的值。因為下標是關健字，所以它不一定從0開始，可以從任何值開始。

    special for迴圈用於讀取關聯陣列中的元素。格式如下：

    {for (item in arrayname){
             print arrayname[item]
             }
    }

    $ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。列印有值的陣列元素。列印的順序是隨機的。

    用字串作為下標。如：count["test"]

    用域值作為陣列的下標。一種新的for迴圈方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。該語句將列印$1中字串出現的次數。它首先以第一個域作陣列count的下標，第一個域變化，索引就變化。

    delete函式用於刪除陣列元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。分配給陣列line的是第一個域的值，所有記錄處理完成後，special for迴圈將刪除每一個元素。

14.8. awk的內建函式
14.8.1. 字串函式

    sub函式匹配記錄中最大、最靠左邊的子字串的正則表示式，並用替換字串替換這些字串。如果沒有指定目標字串就預設使用整個記錄。替換隻發生在第一次匹配的時候。格式如下：

                sub (regular expression, substitution string):
                sub (regular expression, substitution string, target string)

    例項：

                $ awk '{ sub(/test/, "mytest"); print }' testfile
                $ awk '{ sub(/test/, "mytest"); $1}; print }' testfile

    第一個例子在整個記錄中匹配，替換隻發生在第一次匹配發生的時候。如要在整個檔案中進行匹配需要用到gsub

    第二個例子在整個記錄的第一個域中進行匹配，替換隻發生在第一次匹配發生的時候。

    gsub函式作用如sub，但它在整個文件中進行匹配。格式如下：

                gsub (regular expression, substitution string)
                gsub (regular expression, substitution string, target string)

    例項：

                $ awk '{ gsub(/test/, "mytest"); print }' testfile
                $ awk '{ gsub(/test/, "mytest"), $1 }; print }' testfile

    第一個例子在整個文件中匹配test，匹配的都被替換成mytest。

    第二個例子在整個文件的第一個域中匹配，所有匹配的都被替換成mytest。

    index函式返回子字串第一次被匹配的位置，偏移量從位置1開始。格式如下：

              index(string, substring)

    例項：

                $ awk '{ print index("test", "mytest") }' testfile

    例項返回test在mytest的位置，結果應該是3。

    length函式返回記錄的字元數。格式如下：

                length( string )
                length

    例項：

                $ awk '{ print length( "test" ) }'
                $ awk '{ print length }' testfile

    第一個例項返回test字串的長度。

    第二個例項返回testfile檔案中第條記錄的字元數。

    substr函式返回從位置1開始的子字串，如果指定長度超過實際長度，就返回整個字串。格式如下：

                substr( string, starting position )
                substr( string, starting position, length of string )

    例項：

                $ awk '{ print substr( "hello world", 7,11 ) }'

    上例截取了world子字串。

    match函式返回在字串中正則表示式位置的索引，如果找不到指定的正則表示式則返回0。match函式會設定內建變數RSTART為字串中子字串的開始位置，RLENGTH為到子字串末尾的字元個數。substr可利於這些變數來擷取字串。函式格式如下：

                match( string, regular expression )

    例項：

                $ awk '{start=match("this is a test",/[a-z]+$/); print start}'
                $ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'

    第一個例項列印以連續小寫字元結尾的開始位置，這裡是11。

    第二個例項還列印RSTART和RLENGTH變數，這裡是11(start)，11(RSTART)，4(RLENGTH)。

    toupper和tolower函式可用於字串大小間的轉換，該功能只在gawk中有效。格式如下：

                toupper( string )
                tolower( string )

    例項：

                $ awk '{ print toupper("test"), tolower("TEST") }'

    split函式可按給定的分隔符把字串分割為一個數組。如果分隔符沒提供，則按當前FS值進行分割。格式如下：

                split( string, array, field separator )
                split( string, array )

    例項：

                $ awk '{ split( "20:18:00", time, ":" ); print time[2] }'

    上例把時間按冒號分割到time陣列內，並顯示第二個陣列元素18。

14.8.2. 時間函式

    systime函式返回從1970年1月1日開始到當前時間(不計閏年)的整秒數。格式如下：

                systime()

    例項：

                $ awk '{ now = systime(); print now }'

    strftime函式使用C庫中的strftime函式格式化時間。格式如下：

                systime( [format specification][,timestamp] )

    Table 3. 日期和時間格式說明符
    格式    描述
    %a    星期幾的縮寫(Sun)
    %A    星期幾的完整寫法(Sunday)
    %b    月名的縮寫(Oct)
    %B    月名的完整寫法(October)
    %c    本地日期和時間
    %d    十進位制日期
    %D    日期 08/20/99
    %e    日期，如果只有一位會補上一個空格
    %H    用十進位制表示24小時格式的小時
    %I    用十進位制表示12小時格式的小時
    %j    從1月1日起一年中的第幾天
    %m    十進位制表示的月份
    %M    十進位制表示的分鐘
    %p    12小時表示法(AM/PM)
    %S    十進位制表示的秒
    %U    十進位制表示的一年中的第幾個星期(星期天作為一個星期的開始)
    %w    十進位制表示的星期幾(星期天是0)
    %W    十進位制表示的一年中的第幾個星期(星期一作為一個星期的開始)
    %x    重新設定本地日期(08/20/99)
    %X    重新設定本地時間(12：00：00)
    %y    兩位數字表示的年(99)
    %Y    當前月份
    %Z    時區(PDT)
    %%    百分號(%)

    例項：

                $ awk '{ now=strftime( "%D", systime() ); print now }'
                $ awk '{ now=strftime("%m/%d/%y"); print now }'

14.8.3. 內建數學函式

Table 4.
函式名稱    返回值
atan2(x,y)    y,x範圍內的餘切
cos(x)    餘弦函式
exp(x)    求冪
int(x)    取整
log(x)    自然對數
rand()    隨機數
sin(x)    正弦
sqrt(x)    平方根
srand(x)    x是rand()函式的種子
int(x)    取整，過程沒有舍入
rand()    產生一個大於等於0而小於1的隨機數
14.8.4. 自定義函式

在awk中還可自定義函式，格式如下：

        function name ( parameter, parameter, parameter, ... ) {
                        statements
                        return expression                  # the return statement and expression are optional
        }

15. How-to

    如何把一行豎排的資料轉換成橫排？

    awk '{printf("%s,",$1)}' filename

uniq
http://baike.baidu.com/view/1374849.htm

uniq
　　uniq 命令
　　文字
　　uniq是LINUX命令
　　用途
　　報告或刪除檔案中重複的行。
　　語法
　　uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]
　　描述
　　uniq 命令刪除檔案中的重複行。 uniq 命令讀取由 InFile 引數指定的標準輸入或檔案。該命令首先比較相鄰的行，然後除去第二行和該行的後續副本。重複的行一定相鄰。（在發出 uniq 命令之前，請使用 sort 命令使所有重複行相鄰。）最後，uniq 命令將最終單獨的行寫入標準輸出或由 OutFile 引數指定的檔案。InFile 和 OutFile 引數必須指定不同的檔案。
　　輸入檔案必須是文字檔案。文字檔案是包含組織在一行或多行中的字元的檔案。這些行的長度不能超出 2048 個位元組（包含所有換行字元），並且其中不能包含空字元。
　　預設情況下，uniq 命令比較所有行。如果指定了-f Fields 或 -Fields 標誌, uniq 命令忽略由 Fields 變數指定的欄位數目。 field 是一個字串，用一個或多個 <空格 > 字元將它與其它字串分隔開。如果指定了 -s Characters 或 -Characters 標誌, uniq 命令忽略由 Characters 變數指定的欄位數目。為 Fields 和 Characters 變數指定的值必須是正的十進位制整數。
　　當前本地語言環境決定了 -f 標誌使用的 <空白> 字元以及 -s 標誌如何將位元組解釋成字元。
　　如果執行成功，uniq 命令退出，返回值 0。否則，命令退出返回值大於 0。
　　標誌
　　-c 在輸出行前面加上每行在輸入檔案中出現的次數。
　　-d 僅顯示重複行。
　　-f Fields 忽略由 Fields 變數指定的欄位數目。 如果 Fields 變數的值超過輸入行中的欄位數目, uniq 命令用空字串進行比較。 這個標誌和 -Fields 標誌是等價的。
　　-u 僅顯示不重複的行。
　　-s Characters 忽略由 Characters 變數指定的字元的數目。 如果 Characters 變數的值超過輸入行中的字元的數目, uniq 用空字串進行比較。 如果同時指定 -f 和 -s 標誌, uniq 命令忽略由 -s Characters 標誌指定的字元的數目，而從由 -f Fields 標誌指定的欄位後開始。 這個標誌和 +Characters 標誌是等價的。
　　-Fields 忽略由 Fields 變數指定的欄位數目。 這個標誌和 -f Fields 標誌是等價的。
　　+Characters 忽略由 Characters 變數指定的字元的數目。 如果同時指定 - Fields 和 +Characters 標誌, uniq 命令忽略由 +Characters 標誌指定的字元數目，並從由 -Fields 標誌指定的欄位後開始。 這個標誌和 -s Characters 標誌是等價的。
　　退出狀態
　　該命令返回以下退出值：
　　0 命令執行成功。
　　>0 發生錯誤。
　　示例
　　要刪除名為 fruit 檔案中的重複行並將其儲存到一個名為 newfruit 的檔案中，輸入：
　　uniq fruit newfruit
　　如果 fruit 檔案包含下列行:
　　apples
　　apples
　　peaches
　　pears
　　bananas
　　cherries
　　cherries
　　則在您執行uniq 命令後 newfruit 檔案將包含下列行:
　　apples
　　peaches
　　pears
　　bananas
　　cherries
　　檔案
　　/usr/bin/uniq 包含 uniq 命令。