awk命令去重，sort, uniq命令去重統計

利用Linux命令列進行文字按行去重並按重複次數排序

linux命令列提供了非常強大的文字處理功能，組合利用linux命令能實現好多強大的功能。本文這裡舉例說明如何利用Linux命令列進行文字按行去重並按重複次數排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是實現相鄰文字行的去重，cut可以從文字行中提取相應的文字列(簡單地說，就是按列操作文字行)。

用於演示的測試檔案內容如下：

Hello World.
Apple and Nokia.
Hello World.
I wanna buy an Apple device.
The Iphone of Apple company.
Hello World.
The Iphone of Apple company.
My name is Friendfish.
Hello World.
Apple and Nokia.
實現命令及過程如下：

1、文字行去重

(1)排序
由於uniq命令只能對相鄰行進行去重複操作，所以在進行去重前，先要對文字行進行排序，使重複行集中到一起。
$ sort test.txt
Apple and Nokia.
Apple and Nokia.
Hello World.
Hello World.
Hello World.
Hello World.
I wanna buy an Apple device.
My name is Friendfish.
The Iphone of Apple company.
The Iphone of Apple company.

(2)去掉相鄰的重複行
$ sort test.txt | uniq
Apple and Nokia.
Hello World.
I wanna buy an Apple device.
My name is Friendfish.
The Iphone of Apple company.

2、文字行去重並按重複次數排序
(1)首先，對文字行進行去重並統計重複次數(uniq命令加-c選項可以實現對重複次數進行統計。)。
$ sort test.txt | uniq -c
2 Apple and Nokia.
4 Hello World.
1 I wanna buy an Apple device.
1 My name is Friendfish.
2 The Iphone of Apple company.

(2)對文字行按重複次數進行排序。
sort -n可以識別每行開頭的數字，並按其大小對文字行進行排序。預設是按升序排列，如果想要按降序要加-r選項(sort -rn)。
$ sort test.txt | uniq -c | sort -rn
4 Hello World.
2 The Iphone of Apple company.
2 Apple and Nokia.
1 My name is Friendfish.

(3)每行前面的刪除重複次數。
cut命令可以按列操作文字行。可以看出前面的重複次數佔8個字元，因此，可以用命令cut -c 9- 取出每行第9個及其以後的字元。
$ sort test.txt | uniq -c | sort -rn | cut -c 9-
Hello World.
The Iphone of Apple company.
Apple and Nokia.
My name is Friendfish.
I wanna buy an Apple device.
下面附帶說一下cut命令的使用，用法如下：

cut -b list [-n] [file …]
cut -c list [file …]
cut -f list [-d delim][-s][file …]

上面的-b、-c、-f分別表示位元組、字元、欄位（即byte、character、field）；
list表示-b、-c、-f操作範圍，-n常常表示具體數字；
file表示的自然是要操作的文字檔案的名稱；
delim（英文全寫：delimiter）表示分隔符，預設情況下為TAB；
-s表示不包括那些不含分隔符的行（這樣有利於去掉註釋和標題）
三種方式中，表示從指定的範圍中提取位元組（-b）、或字元（-c）、或欄位（-f）。

範圍的表示方法：
n 只有第n項
n- 從第n項一直到行尾
n-m 從第n項到第m項(包括m)
-m 從一行的開始到第m項(包括m)
- 從一行的開始到結束的所有項
在寫這篇文章的時候，用到了vim的大小寫轉化的快捷鍵：gu變小寫，gU變大寫。結合ctrl+v能夠將一片文字中的字元進行大小寫轉換，非常好用。

awk命令去除檔案中重複資料的辦法

　　首先準備一個文字檔案，隨便寫個檔案，包含重複行資料的即可，或者你可以參考我這裡的檔案：

[email protected]:~/awk$ cat dup
hello world
awk
coding ants
hello world
awk
hello world
awk
coding ants
coding ants

　　共有9行，後面6行都是重複的前面的幾行，最終的效果應該是隻顯示上面重點顯示的那幾行，先來看看效果：

[email protected]:~/awk$ awk '!a[$0]++' dup
hello world
awk
coding ants

　　在《awk程式指令模型》中介紹了awk的程式指令由模式和操作組成，即Pattern { Action }的形式，如果省略Action，則預設執行 print $0 的操作。

　　實現去除重複功能的就是這裡的Pattern：

!a[$0]++

　　在awk中，對於未初始化的陣列變數，在進行數值運算的時候，會賦予初值0，因此a[$0]=0，++運算子的特性是先取值，後加1，因此Pattern等價於

!0

　　而0為假，!為取反，因此整個Pattern最後的結果為1，相當於if(1)，Pattern匹配成功，輸出當前記錄，對於dup檔案，前3條記錄的處理方式都是如此。

　　當讀取第4行資料“hello world”的時候，a[$0]=1，取反後的結果為0，即Pattern為0，Pattern匹配失敗，因此不輸出這條記錄，後續的資料以此類推，最終成功實現去除檔案中的重複行。