對於awk命令的介紹可檢視linux命令大全http://man.linuxde.net/awk

    linux下日誌分析很常見也很重要，看見那一片如汪洋般的日誌，想死的心都有了，過濾出關鍵日誌，檢視重要資訊，定位分析問題也是必須要掌握的一門技能；

    因此coding的時候對日誌格式的設計規範很重要，直接決定了bug的定位速度，一般日誌過濾處理主要有以下幾種方式：

    1.查詢關鍵日誌grep
    2.精簡日誌內容 sed
    3.對記錄進行排序sort
    4.統計日誌相關記錄數 awk

    這裡我介紹下awk這種linux中的文字處理技術。

    awk是一種程式語言，用於在linux/unix下對文字和資料進行處理。資料可以來自標準輸入(stdin)、一個或多個檔案，或其它命令的輸出。它支援使用者自定義函式和動態正則表示式等先進功能，是linux/unix下的一個強大程式設計工具。它在命令列中使用，但更多是作為指令碼來使用。awk有很多內建的功能，比如陣列、函式等，這是它和C語言的相同之處，靈活性是awk最大的優勢。

 awk命令格式和選項 語法形式 

    awk [options] 'script' var=value file(s) 

    awk [options] -f scriptfile var=value file(s) 

    常用命令選項 

    -F fs   fs指定輸入分隔符，fs可以是字串或正則表示式，如-F: 

    -v var=value   賦值一個使用者定義變數，將外部變數傳遞給awk 

    -f scripfile  從指令碼檔案中讀取awk命令

    -m[fr] val   對val值設定內在限制，-mf選項限制分配給val的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴充套件功能，在標準awk中不適用。

    awk 'BEGIN{ commands } pattern{ commands } END{ commands }'

     第一步：執行BEGIN{ commands }語句塊中的語句； 

     第二步：從檔案或標準輸入(stdin)讀取一行，然後執行pattern{ commands }語句塊，它逐行掃描檔案，從第一行到最後一行重複這個過程，直到檔案全部     被讀取完畢。

     第三步：當讀至輸入流末尾時，執行END{ commands }語句塊。

     BEGIN語句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如變數初始化、列印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中。 

    END語句塊在awk從輸入流中讀取完所有的行之後即被執行，比如列印所有行的分析結果這類資訊彙總都是在END語句塊中完成，它也是一個可選語句塊。 

    pattern語句塊中的通用命令是最重要的部分，它也是可選的。如果沒有提供pattern語句塊，則預設執行{ print }，即列印每一個讀取到的行，awk讀取的每一行都會執行該語句塊。

    awk簡單使用：

1. awk [-v 變數名=變數值] [-Fre] [--] '模式 { 語句 }' 變數名=變數值 檔名  
2. awk [-v 變數名=變數值] [-Fre] -f 指令碼檔案 [--] 變數名=變數值 檔名  

和sed一樣，awk也支援2中方式呼叫，一種是把awk指令碼直接在命令列寫入，第二種是把awk寫在檔案中在命令列中呼叫。

awk處理方式也與sed類似，對檔案中的每一個輸入行進行處理，每個處理首先判斷是否是模式中匹配的行，是的話就具體執行相應的語句。

而且，awk在處理所有行前和處理完行後各有BEGIN和END語句做預處理和後置處理。

例1：列印日誌中的第2，3列

1. awk 'BEGIN{FS="@"} {print $2,$3}' demo.log_after_sort   #BEGIN中預處理的是，把@號作為行的列分割符,把分割後的行的第2，3列輸出  

例2. 統計日誌中INFO，ERROR出現的總數,以及總記錄數

1. #下面的例子是作為命令列輸入的，利用單引號作為換行標記，這樣就不用另外把指令碼寫進檔案呼叫了  
2. awk '  
3. BEGIN {  
4.   FS="@"  
5. }  
6. {  
7.   if ($3 == "INFO") {info_count++}  
8.   if ($3 == "ERROR") {error_count++}  
9. }  
10. END {  
11.   print "order total count:"NR           #NR是awk內建變數，是遍歷的當前行號，到了END區域自然行號就等於總數了  
12.   printf("INFO count:%d ERROR count:%d\n",info_count,error_count)  
13. } ' demo.log_after_sort  

輸出：

order total count:22
INFO count:5 ERROR count:17

例3. 對指定時間範圍內的日誌進行統計，包括輸出INFO，ERROR總數，記錄總數，每個訂單記錄分類統計

下面的例子綜合了前面sed和sort

1. sed -f demo.sed demolog.log | sort [email protected] -k2,2n -k3,3r -k1,1 | awk -f demo.awk  

1. #demo.awk  
2. BEGIN {  
3.   FS="@"  
4.   stime="2011-08-23 19:57:31"  
5.   etime="2011-08-23 19:57:37"  
6. }  
7. $1 > stime && $1 < etime {  
8.   if ($3 == "INFO") {info_count++}  
9.   if ($3 == "ERROR") {error_count++}  
10.   ++total  
11.   status[$2]=status[$2]"\t"$1"\t"$3"\t"$4"\n"  
12. }  
13. END {  
14.   for(i in status){  
15.       printf("id:%s:\n%s\n",i,status[i])  
16.   }  
17.   print "order total count:"total  
18.   printf("INFO count:%d ERROR count:%d\n",info_count,error_count)  
19. } <span style="font-size:18px;"><strong>  
20. </strong></span>  

id:10117:

2011-08-23 19:57:32INFO  status:attr_ids成功儲存為0|100104|0|100105|100107
2011-08-23 19:57:32ERROR  status:新增屬性id，但由於認證分類引數有誤預設取匹配屬性名稱的第一個屬性id：100107

id:10226:

2011-08-23 19:57:32INFO  status:attr_ids不含0跳過
2011-08-23 19:57:32ERROR  status:新增屬性id，但由於沒有屬性在該分類下預設取匹配屬性名稱的第一個屬性id：100104
2011-08-23 19:57:33ERROR  status:新增屬性id，但由於沒有屬性在該分類下預設取匹配屬性名稱的第一個屬性id：100107
2011-08-23 19:57:33ERROR  status:新增屬性id，但由於沒有屬性在該分類下預設取匹配屬性名稱的第一個屬性id：46
2011-08-23 19:57:34ERROR  status:新增屬性id，但由於沒有屬性在該分類下預設取匹配屬性名稱的第一個屬性id：100106
2011-08-23 19:57:35ERROR  status:新增屬性id，但由於沒有屬性在該分類下預設取匹配屬性名稱的第一個屬性id：100105

#這個例子只是舉例說明awk的統計用法，實際運用中可能會統計超時的次數，頁面訪問次數等。

其他實踐時例子：

1. 在本地分支把程式碼修改從一個分支複製到另一個分支（例子的b1022st.txt是一個記錄了檔案新增或修改的變化的檔案路徑名）

1. awk 'BEGIN{FS="b1022-scm/"} {system("cp -rf b1022-scm/"$2" b1022-lpscm/"$2);}' /home/nizen/b1022st.txt  

1. BEGIN {  
2.   running=0
3.   count=0
4.   startRow="begin =====>" id            #id,nextId是通過-v 引數從外部傳入  
5.   endRow="begin =====>" nextId  
6. }  
7. $0 ~ startRow{    # ～是匹配運算子，判斷$0是否滿足startRow正則表示式  
8.   running = 1
9. #  printf("start\n")  
10. }  
11. $0 ~ endRow {  
12.   running = 0
13. #  printf("end\n")  
14. }  
15. {  
16.   if(running==1) {      # 僅在startRow 和 endRow 範圍內統計  
17.     if($0 ~ "it show") {  
18. #        printf($0"\n")  
19.         str=$0
20.         sub(/^.*show times:/, "", str)  
21.         sub(/ .*$/, "", str)  
22.         printf(str "\n")  
23.         count = count + str  
24.     }  
25.   }  
26. }  
27. END {  
28.   printf("showTimeCount:"+count)  
29. }  

    以上awk的簡單使用摘錄自http://blog.csdn.net/ultrani/article/details/6750434