1. 程式人生 > >如何從文字中擷取自己想有得資料並去重,統計,排序

如何從文字中擷取自己想有得資料並去重,統計,排序

關鍵的指令為:
awk為分割擷取,sort為排序,uniq為去重,wc為統計,你需要單獨去理解這些指令,然後通過管道進行資料傳送

特別注意:
用uniq命令可以刪除相鄰的重複行:
uniq [file]
但如果一文字中有重複卻不相鄰的行則無法刪除,需要結合sort命令:
sort [file]|uniq
等效的sort命令是:
sort -u [file]
去重複後統計:

sort needsort.txt |uniq |wc

語句為:
語句一:
先排序再去重

grep -rn '"字串"' query_data.csv |awk -F" " '{ print $4 }'|awk -F "|" '{ print $4 }' | sort|uniq -c|sort

語句二:
去重並統計

grep -rn '"evo"' query_data.csv |awk -F "|" '{ print $4 }' | sort|uniq -c|sort -r|wc -l

語句三:
將資料夾下的所有檔案寫入同一個檔案中:

for i in `ls`;do cat $i >>17-18.csv;done

語句四:
查詢某資料夾下所有型別的檔案重寫至一個檔案中

for i in `find /work/logger/prod/2018-12-09 -type f -name "*.blob"`;do cat $i >>20181208.log;done