sort :用於排序，常用引數 -t 指定一行的分隔符 -k 指定具體排序的規則 -d 按字典序排列  -f 忽略大小寫

　　  -u （unique）丟棄相同指定欄位的記錄

unique：報告或刪除檔案中重複的行。 -c 在輸出行前加上出現的次數    -d  （duplicated）顯示重複的行  

　　　　　　　　　　　　　　　　　　-u 僅顯示不重複的行 

wc：  統計文字行數，字數和字元數。    -c 字元數    -w  單詞數    -l  行數

pr：將文字轉換成適合列印的格式。   -c 顯示的列數(截斷超出的部分)

fmt: 優化文字的格式。  -w 設定一行顯示的最大行寬   -s  只對過長的行進行換行，不要自動回填。

fold：限制文字寬度（強行截斷並換行）。 -w 指定寬度  -s 只在空格處換行。

cut ：擷取行的欄位。   -delimiter  設定欄位分割符 -f List 設定擷取的域  

　　　　　　　　　　　List可以是M，M-，M-N -M；可以用逗號指定多個

join：連線兩個檔案的資料欄位。  join file1 file2  -1 M  -2 N    M、N指定匹配的欄位

tr： 文字替換。 tr set set :將str1上字元替換成str2上對於位置的字元； （可以是 tr 'a-z' 'A-Z'）

　　　　　　　 tr {-d|-s} set ：-d 刪除set上的每一個字元 ；-s 除去連續出現的set中的字元，至只剩下單個

　　　　　　　 tr -c （complement 互補）使用set1的外的其他字元 [例子：tr -cs '[:lower:][:upper:]' '[\n*]' 單詞表]

0)sed 的作用和工作方式

sed 是一個非互動式的的行編輯器，工作時，從指定的輸入讀入一行資料存入被稱為模式空間（Pattern Space） 的臨時緩衝區，然後按照指定的sed編輯命令處理緩衝區裡面的內容，將結果輸出到標準輸出後從模式空間中刪除，然後繼續讀取下一行繼續工作。

1) 地址範圍

sed -e '1,5d'  test.txt

sed -e '/^#/d' test.txt

規則表示式中使用的表示式字元：

 2) 引數

-e     將指令碼新增到命令執行，如上面的 '/^#/d'

-n    禁止模式空間的自動列印

替換文字：   sed -e "s/benson/BENSON/g"  將benson 替換成大寫

　　　　　　sed -e "1,10s/benson/BENSON/g" 將1-10行的benson變成大寫

　　　　      s/// 的 “/”可以被替換：比如 sed -e "s:/usr/local:/usr:g" 

多條命令一起執行：  sed -n -e "=;p"   列印行號；列印行 （等價與 sed -e "=" -e "p" ）

多條命令於同一地址範圍：sed -n -e '1,5{s/benson/BENSON/g;s/laur/LAUR/g}'

把命令放在檔案fsed裡：sed -n -f fsed 

awk 具有成為一門語言應有的要素：變數，函式等，是強大的處理工具。

例子：

awk -F ":" '{print "USER:" $1  "\tSHELL: " $7 }'  /etc/passwd
結果：
USER:root    SHELL: /bin/bash
USER:daemon    SHELL: /usr/sbin/nologin
USER:sync    SHELL: /bin/sync

上面的命令也可以寫入檔案file.awk中：

awk -f file.awk /etc/passwd

BEGIN{ FS=":" }
{
    print "USER:" $1  "\tSHELL: " $7 
}

1）使用者自定義變數

命名規則：[A-Za-z_][A-Za-z0-9_]*

2) 常用的內建變數

3) awk陣列  的字元索引支援數字、字串

sit[google]="https://google.com"
sit[baidu]="http;//baidu.com"

陣列儲存是稀疏的,可直接定義如下兩項：
x[1]=1234
x[1000]=234234

delete x  將刪除數組裡所有的元素

刪除後，可以繼續定義如下：
x=567

訪問環境變數：ENVIRON["PATH"]

awk支援的算數函式： 　

　　　　sin(x) cos(x) atan2(x,2) :x,y 範圍內的餘切 int(x):沒有舍入地取整 exp(x)求冪 log(x):自然對數 sqrt(x) 

　　　　rand()：產生>=0 <1的隨機數 srand(x)：x是rand()的種子

條件語句和迴圈語句與C類似，支援break，continue（可以不使用；結尾）

例子：將下面記錄每組一行輸出

abc,123
tttt  dddd

ddd,324
ssss  ssdd
sdfsd sdf 

dddd
sfdfsdf

BEGIN{
        FS="\n"
        RS=""　　　　# RS設定為""將可以解析多行記錄（以空行分隔）
        ORS=""      #輸出記錄分隔符不要換行
}
{
        x=1
        while(x<NF)
        {
                print $x "\t"
                x++
        }
        print $NF "\n"
}

結果：

abc,123    tttt  dddd
ddd,324    ssss  ssdd    sdfsd sdf
dddd    sfdfsdf

在函式中，指定的引數將被當做區域性變數，而所有函式體內未出現在引數列表中的變數會被視為全域性性。為此，awk允許宣告過多的引數用於區域性使用如：

function add(x,y,      sum)
{
sum = x+y
return sum
}

如果需要使用函式進行引用傳遞，只能通過傳入陣列來實現：

格式化輸出：

printf("%s have %d jobs","somebody",3)
strout = sprintf("%s have %d jobs","somebody",3)

格式化輸出的轉義字元：c s d ld (十進位制長整數) u lu x lx o lo e(科學計數法表示的浮點數) f g(e或f中比較短的一種)

printf 修飾符：  - 左對齊     #顯示八進位制時在前面加個0；顯示十六進位制時在前面加0x  

　　　　　　　  +顯示defg 轉換的整數時，加上正負號    0  填充空白為0

　　　　　　　　具體的格式為：%-width.precision fotmat-specifier

awk內建字串函式：

10001 南京 佛擋殺佛 sdfsdf
10002 天津 發生地方  雙方的發生
10003 石家莊 發生地方 發生地方

11000,南京
11003,天津
12000,河北省
13000,品上線
12344,石家莊

BEGIN{
        FS="[ ,]"
        OFS=","
}

NR <= FNR{
        array[$2]=$1
}
NR > FNR{
        print $1,$2,array[$2]
}

awk  -f join.awk a.txt b.txt

11000,南京,10001
11003,天津,10002
12000,河北省,
13000,品上線,
12344,石家莊,10003