一，背景。

今天遇到了一個使用場景，獲取檔案中每一行的某個屬性資料，然後將該屬性資料去重。

二，shell指令碼編寫。

bash
1 #!/bin/bash
2 for line in `cat test1|awk -F "|" '{print $4}'|awk -F "[" '{print $2}'|awk -F "\]" '{print $1}'`
3 do
4 echo "line"$line
6 str=`echo $line|awk -F "," '{for(i=1;i<=NF;i++) {if(!a[$i]++) {printf("%s", $i); if(i != NF) {printf(",")} } } }'`
7 echo $str
8 # echo "new Line"$str
9 # len=${#str}
10 #
11 # echo "len : "$len
12 # if [ "${str: -1}" == "," ];then
13 # str=${str:0:$len-1}
14 # fi
15 # echo $str
16 done


三，分析。

1，獲取想要的屬性資料，以”|”為分隔符獲取第四個資料然後再獲取”[]”中的資料。

cat test1|awk -F "|" '{print $4}'|awk -F "[" '{print $2}'|awk -F "\]" '{print $1}
2，資料去重。以”,”作為分割， 遍歷整個陣列，去除重複的字串。
echo $line|awk -F "," '{for(i=1;i<=NF;i++) {if(!a[$i]++) {printf("%s", $i); if(i != NF) {printf(",")} } } }
其中有一個去除重複項最為關鍵的點： !a[$i]++ 這裡有使用到hash陣列。將遍歷的字串以key和value都為字串變數的值存入到hash陣列中，然後判斷是否存在，如果不存在就但列印這個變數，然後列印換行符。

四，待改進點。

1，遇到了一個問題， 每行要去重的資料，如果$NF不是唯一的變數，會使得打印出來的字串少一個，反之則會多一個，被註釋掉的內容是打算實現將欄位串判斷最後一個字元是不是’,’，如果是就截斷字串。但是未能實現。