初試Shell指令碼

Shell · 發表 2018-10-10 11:21:21

摘要：背景臨上線前測試比較努力，遇到閃退或者其他問題，會把日誌包打給我，由於app記憶體限制，目前每次打包都是1m大小，所以有時查詢問題的上下文比較吃力。同時由於日誌比較多，根據關鍵詞過濾的需求越來越重要。於是決定學寫指令碼完成這個任務，根據我的要求，工作流程應該是傳入壓縮包...

背景

臨上線前測試比較努力，遇到閃退或者其他問題，會把日誌包打給我，由於app記憶體限制，目前每次打包都是1m大小，所以有時查詢問題的上下文比較吃力。同時由於日誌比較多，根據關鍵詞過濾的需求越來越重要。

於是決定學寫指令碼完成這個任務，根據我的要求，工作流程應該是傳入壓縮包，根據字尾名解壓，根據日期排序後合併成一個檔案，按需過濾關鍵詞。

先上程式碼

#!/usr/bin/env bash
# Created By Vanch at 2018/9/20

printHelp() {
echo "Uncompess log files from inputed zip"
echo "Then Merge these logs to one file"
echo "Supported file types: zip tar tar.gz tar.bz2"
echo
echo "Use -s for filtering socket result to socket.log"
echo 
echo "Have fun!"
}

#如果沒輸入引數，就列印幫助資訊
if [ $# -eq 0 ]; then
printHelp
exit 0
fi

#把長選項轉到短選項
for arg in "$@"; do
shift
case "$arg" in
"--help")set -- "$@" "-h" ;;
"--version")set -- "$@" "-v" ;;
"--list")set -- "$@" "-l" ;;
*)set -- "$@" "$arg"
esac
done
#獲取短選項
OPTIND=1
printS=false;
while getopts "dmksahvl" opt; do
case $opt in
h) #輸入為help，就列印幫助資訊
printHelp
exit 0;;
l) #支援單獨獲取支援檔案字尾列表
echo "Supported file types: zip tar tar.gz tar.bz2"
exit 0;;
v) #支援查詢版本號
echo "1.0.0"
exit 0;;
s) #過濾Socket
printS=true;;
esac
done

#獲得壓縮包地址
file=${!#}
#如果不存在就退出
if [ ! -f "$file" ]; then
echo "File not exist!"
exit 0;
fi 
#獲取壓縮字尾
fileName=`basename $file`
suffix=${fileName#*.}
#判斷檔案型別
support=('tar','tar.gz','tar.bz2','zip')
if [ -z `echo "${support[@]}" | grep -w "$suffix"` ] ; then
echo "File type not support!"
exit 0;
fi
#拼接資料夾地址
fileDir=$(dirname $file)/${fileName%%.*}
if [ -d $fileDir ]; then
rm -rf $fileDir
fi
mkdir $fileDir
cd $fileDir
#解壓檔案
case $suffix in
'tar')
eval "tar xvf $file > /dev/null 2>&1";;
'tar.gz')
eval "tar zxvf $file > /dev/null 2>&1";;
'tar.bz2')
eval "tar jxvf $file > /dev/null 2>&1";;
'zip')
eval "unzip -o $file > /dev/null 2>&1";;
esac
echo 'Uncompass Success!'

#獲取日誌列表，按排序合併到一個日誌
mergeFile=./merge.log
logCount=0
#搜尋com開頭的日誌，按日期排序，用？臨時代替空格
for logName in `ls | grep 'com' | sort -n | tr " " "?"`; do
logName=${logName//'?'/' '}
cat ./"$logName" >> $mergeFile
((logCount++))
done
#不存在日誌就打斷
if [ $logCount -eq 0 ]; then
echo "Log not exist!"
exit 
fi
echo 'Merge Success!'
#列印socket
if [ $printS = true ]; then
cat $mergeFile | grep -i 'socket' >> ./socket.log
echo 'Filter socket'
fi

遇到的問題

查詢了很多資料後寫完了這個指令碼，基本滿足了我的需求，下面總結一下怎麼解決遇到的問題。

使用環境

一開始學指令碼時，書上都說#! /bin/bash ，但是看專案中大神寫的指令碼，都是#!/usr/bin/env bash ，有什麼區別呢？

指令碼用env啟動的原因，是因為指令碼直譯器在linux中可能被安裝於不同的目錄，env可以在系統的PATH目錄中查詢。

同時，env還規定一些系統環境變數。

不同的系統，直譯器的路徑可能也不同，所以使用絕對路徑是比較危險的方式。通過從環境中查詢，可以保證相容性。

獲取選項

開發中我們經常用到命令，這些命令一般都配合選項達到不同的效果，比如最常用的ls -al ，通過-a 來指定結果包含隱藏檔案，通過-l 達到列表顯示的效果。

通過查詢相關資料，我發現獲取選項普遍的做法是使用getopts 命令，但是這個方法只能獲取-h 這種短選項，對於--help 長選項就不行。

第一種辦法是換成getopt 命令，但是並不是每個系統都支援這個命令。具體使用和getopts 類似，比如getopt -o ab:c -l a-long:b-long

第二種方法是把支援的長命令轉成短命令，我使用的就是這種方式，相對來說比較容易理解，且case寫的比較統一。通過shift 取出引數，再set -- 的方式重寫，最後OPTIND=1 把指標指回第一個選項。

檔案路徑和檔案字尾

按需求需要判斷後綴名來解壓，那麼就需要判斷tar.gz 之類的問題。同時，如果傳入的檔案目錄是隱藏目錄，也會造成一定的障礙。我們假設傳入檔案路徑為/a/.b/c.tar.gz 。

${param#pattern} 從param前面刪除pattern的最小匹配
${param##pattern} 從param前面刪除pattern的最大匹配
${param%pattern} 從param後面刪除pattern的最小匹配
${param%%pattern} 從param後面刪除pattern的最大匹配

如果按照${fileName##*.} 來擷取，那麼只能拿到gz 。

如果按照${fileName#*.} 來擷取，拿到的又是b/c.tar.gz 。那怎麼辦呢？

好在有dirname 可以直接獲取檔案路徑，basename 拿到檔名，單獨對檔名進行${fileName#*.} 就可以拿到tar.gz 了。

去除不必要的列印

執行解壓命令時，會列印解壓步驟，一般來說也需要顯示，那如果我們不想要打印出來呢？有一個辦法就是在命令之後加上> /dev/null 2>&1

/dev/null ：代表空裝置檔案
> ：代表重定向到哪裡，例如：echo "123" > /home/123.txt
1 ：表示stdout標準輸出，系統預設值是1，所以">/dev/null"等同於"1>/dev/null"
2 ：表示stderr標準錯誤
& ：表示等同於的意思，2>&1，表示2的輸出重定向等同於1

所以含義就是把命令輸出結果和錯誤輸出重定向，使得輸出不在當前螢幕顯示，由於null比較特殊，向這個檔案輸入等於進入黑洞，因此達到效果。

陣列與空格

使用ls | grep 的方式來過濾結果獲取檔名陣列的最大問題是，如果檔名包含空格，那麼前後會被分割成兩個單元，導致處理比較困難。

比較討巧的方法是臨時用特殊符號代替空格，在使用時再替換回來。這種方法不會改變檔名，也不用寫複雜的數組合並，比較符合簡單的設計。

tr " " "?"
${logName//'?'/' '}

總結

通過這次簡單的指令碼實驗，對shell有了新的認識，及時記錄遇到的問題，相信下次會更有印象。使用指令碼，可以讓工作更有效率，相信以後也會越用越多。