一，uniq幹什麼用的

文字中的重複行，基本上不是我們所要的，所以就要去除掉。linux下有其他命令可以去除重複行，但是我覺得uniq還是比較方便的一個。使用uniq的時候要注意以下二點

1，對文字操作時，它一般會和sort命令進行組合使用，因為uniq 不會檢查重複的行，除非它們是相鄰的行。如果您想先對輸入排序，使用sort -u。

2，對文字操作時，若域中為先空字元(通常包括空格以及製表符)，然後非空字元，域中字元前的空字元將被跳過

二，uniq引數說明

1. [[email protected] ~]$ uniq --help  
2. 用法：uniq [選項]... [檔案]  
3. 從輸入檔案或者標準輸入中篩選相鄰的匹配行並寫入到輸出檔案或標準輸出。  
4. 不附加任何選項時匹配行將在首次出現處被合併。  
5. 長選項必須使用的引數對於短選項時也是必需使用的。  
6.  -c, --count//在每行前加上表示相應行目出現次數的字首編號
7.  -d, --repeated          //只輸出重複的行
8.  -D, --all-repeated      //只輸出重複的行，不過有幾行輸出幾行
9.  -f, --skip-fields=N     //-f 忽略的段數，-f 1 忽略第一段
10.  -i, --ignore-case//不區分大小寫
11.  -s, --skip-chars=N      //根-f有點像，不過-s是忽略，後面多少個字元 -s 5就忽略後面5個字元
12.  -u, --unique            //去除重複的後，全部顯示出來，根mysql的distinct功能上有點像
13.  -z, --zero-terminated   end lines with 0 byte, not newline  
14.  -w, --check-chars=N      //對每行第N 個字元以後的內容不作對照
15.  --help              //顯示此幫助資訊並退出
16.  --version              //顯示版本資訊並退出

其中-z不知道有什麼用

三，測試文字檔案uniqtest

1. this is a test  
2. this is a test  
3. this is a test  
4. i am tank  
5. i love tank  
6. i love tank  
7. this is a test  
8. whom have a try  
9. WhoM have a try  
10. you  have a try  
11. i want to abroad  
12. those are good men  
13. we are good men  

四，例項詳解

1. [[email protected] mytest]$ uniq -c uniqtest  
2.  3 this is a test  
3.  1 i am tank  
4.  2 i love tank  
5.  1 this is a test           //和第一行是重複的
6.  1 whom have a try  
7.  1 WhoM have a try  
8.  1 you  have a try  
9.  1 i want to abroad  
10.  1 those are good men  
11.  1 we are good men  

從上例子中我們可以看出，uniq的一個特性，檢查重複行的時候，只會檢查相鄰的行。重複資料，肯定有很多不是相鄰在一起的。

1. [[email protected] mytest]$ sort uniqtest |uniq -c  
2.  1 WhoM have a try  
3.  1 i am tank  
4.  2 i love tank  
5.  1 i want to abroad  
6.  4 this is a test  
7.  1 those are good men  
8.  1 we are good men  
9.  1 whom have a try  
10.  1 you  have a try  

這樣就可以解決上個例子中提到的問題

1. [[email protected] mytest]$ uniq -d -c uniqtest  
2.  3 this is a test  
3.  2 i love tank  

uniq -d 只顯示重複的行

1. [[email protected] mytest]$ uniq -D uniqtest  
2. this is a test  
3. this is a test  
4. this is a test  
5. i love tank  
6. i love tank  

uniq -D 只顯示重複的行，並且把重複幾行都顯示出來。他不能和-c一起使用

1. [[email protected] mytest]$ uniq -f 1 -c uniqtest  
2.  3 this is a test  
3.  1 i am tank  
4.  2 i love tank  
5.  1 this is a test  
6.  2 whom have a try  
7.  1 you  have a try  
8.  1 i want to abroad  
9.  2 those are good men   //只有一行，顯示二行

在這裡those只有一行，顯示的卻是重複了，這是因為，-f 1 忽略了第一列，檢查重複從第二欄位開始的。

1. [[email protected] mytest]$ uniq -i -c uniqtest  
2.  3 this is a test  
3.  1 i am tank  
4.  2 i love tank  
5.  1 this is a test  
6.  2 whom have a try  //一個大寫，一個小寫
7.  1 you  have a try  
8.  1 i want to abroad  
9.  1 those are good men  
10.  1 we are good men  

檢查的時候，不區分大小寫

1. [[email protected] mytest]$ uniq -s 4 -c uniqtest  
2. 3 this is a test  
3. 1 i am tank  
4. 2 i love tank  
5. 1 this is a test  
6. 3 whom have a try   //根上一個例子有什麼不同
7. 1 i want to abroad  
8. 1 those are good men  
9. 1 we are good men  

檢查的時候，不考慮前4個字元，這樣whom have a try 就和 you have a try 就一樣了。

1. [[email protected] mytest]$ uniq -u uniqtest  
2. i am tank  
3. this is a test  
4. whom have a try  
5. WhoM have a try  
6. you  have a try  
7. i want to abroad  
8. those are good men  
9. we are good men  

去重複的項，然後全部顯示出來

1. [[email protected] mytest]$ uniq -w 2 -c uniqtest  
2.  3 this is a test  
3.  3 i am tank  
4.  1 this is a test  
5.  1 whom have a try  
6.  1 WhoM have a try  
7.  1 you  have a try  
8.  1 i want to abroad  
9.  1 those are good men  
10.  1 we are good men  

對每行第2個字元以後的內容不作檢查，所以i am tank 根 i love tank就一樣了。