## 概述 偶然間發現 ```man bash``` 上其實詳細講解了 ```shell``` 程式設計的語法，包括一些很少用卻很實用的高階語法。就像發現了寶藏的孩子，興奮莫名。於是參考```man bash```，結合自己的理解，整理出了這篇文章。 本文並不包含```man bash```所有的內容，也不會詳細講解```shell```程式設計，只會分享一些平時很少用，實際很實用的高階語法，或者是一些平時沒太注意和總結的經驗，建議有一定```shell```基礎的同學進階時可以看一看。 當然，這只是 ```Bash``` 上適用的語法，不確定是否所有的```Shell```都能用，請慎用。 ## shell語法 ### 管道 有一點```shell```程式設計基礎的應該都知道管道。這是一個或多個命令的序列，用字元```|```分隔。實際上，一個完整的管道格式是這樣的： ``` [time [-p]] [ ! ] command [ | command2 ... ] ``` ```time```單獨執行某一條命令非常容易理解，統計這個命令執行的時間，但管道這種多個命令的組合，他統計的是某一個命令的時間還是管道所有命令的時間呢？**如果保留字 time 作為管道字首，管道中止後將給出執行管道耗費的使用者和系統時間**。 如果保留字 ```!``` 作為管道字首，管道的退出狀態將是最後一個命令的退出狀態的邏輯非值。 否則，管道的退出狀態就是**最後一個命令的**。 shell 在返回退出狀態值之前，等待管道中的所有命令返回。 ### 複合命令 我們常見的```case ... in ... esac```語句，```if ... elif ... else```語句，```while .... do ... done```語句，```for ... in ...; do ... done```，甚至函式```function name() {....}```都屬於複合命令。 #### for 語句 ```for```迴圈常見的完整格式是： ``` for name [ in word ] ; do list ; done ``` 除此之外，其實還支援類似與C語言的for迴圈， ``` for (( expr1 ; expr2 ; expr3 )) ; do list ; done ``` 返回值是序列 list 中被執行的最後一個命令的返回值；或者是 false，如果任何表示式非法的話。 #### case 語句 ```man bash```上顯示，```case```語句的完整格式是```case word in [ [(] pattern [ | pattern ] ... ) list ;; ] ... esac```。 展開後應該是這樣的： ``` case word in [(] pattern [ | pattern ]) list ;; ... esac ``` 每一個```case```的分支，都是```pattern```，使用**與路徑擴充套件相同的匹配規則**來匹配，見下面的 *路徑擴充套件* 章節，且通過```|```支援多種匹配走同一分支。例如： ``` case ${val} in *linux* | *uboot* ) ... ;; ... esac ``` 如果找到一個匹配，相應的序列將被執行。找到一個匹配之後，不會再嘗試其後的匹配。 如果沒有模式可以匹配，返回值是 0。否則，返回序列中最後執行的命令的返回值。 #### select 語句 ```select```語句可以說用得很少，但其實在需要互動選擇的場景下非常實用。它的完整格式是： ``` select name [ in word ] do list done ``` 它可以顯示出帶編號的選單，使用者輸入不同的編號就可以選擇不同的選單，並執行不同的功能。我們看一個例子： ``` #!/bin/bash echo "What is your favourite OS?" select name in "Linux" "Windows" "Mac OS" "UNIX" "Android" do echo "You have selected $name" done ``` 執行結果是這樣的： ``` What is your favourite OS? 1) Linux 2) Windows 3) Mac OS 4) UNIX 5) Android #? 4↙ You have selected UNIX #? 1↙ You have selected Linux #? 9↙ You have selected #? 2↙ You have selected Windows #?^D ``` ```#?```用來提示使用者輸入選單編號，這實際是環境變數```PS3```的值，可以通過改這變數來改使用者提示資訊。```^D```表示按下 ```Ctrl+D``` 組合鍵，它的作用是結束 ```select``` 迴圈。 如果使用者輸入的選單編號不在範圍之內，例如上面我們輸入的 9，那麼就會給 name 賦一個空值；如果使用者輸入一個空值（什麼也不輸入，直接回車），會重新顯示一遍選單。 注意，select 是無限迴圈（死迴圈），輸入空值，或者輸入的值無效，都不會結束迴圈，只有遇到 break 語句，或者按下 Ctrl+D 組合鍵才能結束迴圈。通常和 case in 一起使用，在使用者輸入不同的編號時可以做出不同的反應。例如 ``` echo "What is your favourite OS?" select name in "Linux" "Windows" "Mac OS" "UNIX" "Android" do case $name in "Linux") echo "Linux是一個類UNIX作業系統，它開源免費，執行在各種伺服器裝置和嵌入式裝置。" break ;; "Windows") echo "Windows是微軟開發的個人電腦作業系統，它是閉源收費的。" break ;; ...... *) echo "輸入錯誤，請重新輸入" esac done ``` #### ( list ) 語句 ```( list )```會讓 ```list``` 序列將**在一個子 shell 中執行**。變數賦值和影響 shell 環境變數的內建命令在命令結束後不會再起作用。返回值是序列的返回值。 這個在需要臨時切換目錄或者改變環境變數的情況下非常使用。例如封裝編譯核心的命令，實現任何目錄下都可以直接編譯，我們總需要先```cd```到核心根目錄，再```make```編譯，最後再```cd```回原目錄。例如： ``` alias mkernel='cd ~/linux ; make -j4 ; cd -' ``` 這樣會導致，在編譯過程如果```Ctrl + C```取消返回時，你所處在的目錄就變成了```~/linux```。這種情況下，使用```( list )```就能解決這問題，甚至都不需要```cd -```返回原目錄，直接退出即可。 ``` alias mkernel='(cd ~/linux ; make -j4)' ``` 也例如，有某個程式比較挫，只能在程式目錄執行，在其他目錄，甚至上一級目錄執行，都會找不到資原始檔導致退出，我們可以這樣解決： ``` alias xmind='(cd ~/軟體/xmind/XMind_amd64 &>/dev/null && nohup ./XMind &>/dev/null) &' ``` #### (( expression)) 語句 表示式 ```expression``` 將被求值。如果表示式的值非零，返回值就是 0；否則返回值是 1。這種做法和 let "expression" 等價。 #### [[ expression ]] 語句 在 ```if``` 語句中，我們喜歡用 ```if [ expression ]; then ... fi```的*單括號*的形式，但看大神們的指令碼，他們更常用```if [[ expression ]]; then ... fi```的**雙括號**形式。 ```[ ... ]```等效於```test```命令，而```[[ ... ]]```是另一種命令語法，相似功能卻更高階，它除了傳統的條件表示式(Eg. [ ${val} -eq 0 ])外，還支援表示式的轉義，就是說可以**像在其他語言中一樣使用出現的比較符號**，例如```>```，```<=```，```&&```，```||```等。 舉個例子，要判斷變數```val```有值且大於4，用單括號需要這麼寫： ``` [ -n ${val} -a ${val} -gt 4 ] ``` 用雙括號可以這麼寫： ``` [[ -n ${val} && ${val} > 4 ]] ``` 當使用```==```和```!=```操作符時，操作符右邊的字串被認為是一個模式，根據下面 模式匹配 章節中的規則進行匹配。如果匹配則返回值是 0，否則返回1。模式的任何部分可以被引用，強制使它作為一個字串而被匹配。 ## 引用 這裡主要講的是```$'string'```特殊格式，注意的是，必須是單引號。它被擴充套件為```string```，其中的反斜槓轉義字元被替換為 ANSI C 標準中規定的字元。反斜槓轉義序列，如果存在的話，將做如下轉換： | 轉義 | 含義 | | :---: | :--- | | ```\a``` | alert (bell) 響鈴 | | ```\b``` | backspace 回退 | | ```\e``` | an escape character 字元 Esc | | ```\f``` | form feed 進紙 | | ```\n``` | new line 新行符 | | ```\r``` | carriage return 回車 | | ```\t``` | horizontal tab 水平跳格 | | ```\v``` | vertical tab 豎直跳格 | | ```\\``` | backslash 反斜槓 | | ```\'``` | single quote 單引號 | | ```\nnn``` | 一個八位元字元，它的值是八進位制值 nnn (一到三個數字) | | ```\xHH``` | 一個八位元字元，它的值是十六進位制值 HH (一到兩個十六進位制數字) | | ```\cx``` | 一個 ctrl-x 字元 | 例如，我希望把有換行的一段話暫存到某個變數： ``` $ var="第一行"$'\n'"第二行" $ echo "${var}" 第一行 第二行 ``` ## 引數 ### 陣列 Bash 提供了一維陣列變數。任何變數都可以作為一個數組；內建命令```declare```可以顯式地定義陣列。陣列的大小沒有上限，也沒有限制在連續對成員引用和 賦值時有什麼要求。陣列以整數為下標，從 0 開始。 除了```declare``定義陣列外，更常用的是以下兩種方式定義陣列變數： ``` $ array_var=( "mem1" 3 str ) $ array_var[4]="mem4" $ echo ${array_var[@]} mem1 3 str mem4 $ echo ${array_var[1]} 3 ``` 陣列的使用跟C語言很像，```[] + 下標數字```可以訪問特定某一個數組成員。花括號是必須的，以避免和路徑擴充套件衝突。 如果下標是 ```@``` 或是 ```*```，它擴充套件為陣列的所有成員。 這兩種下標只有在雙引號中才不同。在雙引號中，```${name[*]}```，把所有成員當成一個詞，用特殊變數 IFS 的第一個字元分隔；```${name[@]}``` 將陣列的每個成員擴充套件為一個詞。 如果陣列沒有成員，```${name[@]}``` 擴充套件為空串。這種不同類似於特殊引數 ```*``` 和 ```@``` 的擴充套件。在作為函式引數傳遞的時候能很明顯感受到他們的差別。 ``` #定義陣列 $ array=(a b c) # 定義函式 $ function func() { > echo first para is $1 > echo second para is $2 > echo third para is $3 > } # 雙引號＋'*' $ func "${array[*]}" first para is a b c second para is third para is # 雙引號＋‘＠’ $ func "${array[@]}" first para is a second para is b third para is c ``` 內建命令 ```unset``` 用於銷燬陣列。```unset name[subscript]``` 將銷燬下標是 ```subscript``` 的元素。 ```unset name```, 這裡```name``` 是一個數組，或者 ```unset name[subscript]```, 這裡```subscript``` 是 ```*```或者是```@```，將銷燬整個陣列。 ## 擴充套件 ### 花括號擴充套件 什麼是花括號擴充套件，舉個例子就好理解了 ``` mkdir /usr/local/src/bash/{old,new,dist} ``` 等效於 ``` mkdir /usr/local/src/bash/old /usr/local/src/bash/new /usr/local/src/bash/dist ``` 除此之外，還支援模式匹配來批量選擇，例如： ``` chown root /usr/{ucb/{ex,edit},lib/{ex?.?*,how_ex}} ``` ### 變數擴充套件 我們知道，```${var}```的形式可以獲取變數```var```的值，但其實還可以有更多花式玩法。其中```～```表示使用者根目錄其實屬於 **波浪線擴充套件**，這比較常見，不展開介紹了。 下面的每種情況中，word 都要經過波浪線擴充套件，引數擴充套件，命令替換和 算術擴充套件。如果不進行子字串擴充套件，bash 測試一個沒有定義或值為空的 引數；忽略冒號的結果是隻測試未定義的引數。 大致描述下變數擴充套件的功能： | 擴充套件 | 功能 | | :---: | :--- | | ```${var}``` | 獲取變數值 | | ```${!var}``` | 取變數var的值做新的變數名，再次獲取新變數名的值 | | ```${!prefix*``` | 獲取prefix開頭的變數名 | | ```${#parameter}``` |獲取變數長度 | | ```${parameter:-word}``` | parameter為空時，使用wrod返回 | | ```${parameter:+word}``` | parameter非空時，使用word返回 | | ```${parameter:=word}``` | parameter為空時，使用word返回，同時把word賦值給parameter變數 | | ```${parameter:?word}``` | parameter為空時，列印錯誤資訊word | | ```${parameter:offset}``` | 從offset位置擷取字串 | | ```${parameter:offset:length``` | 從offset位置擷取length長度的字串 | | ```${parameter#word}``` | 從頭開始刪除最短匹配word模式的內容後返回 | | ```${parameter##word}``` | 從頭開始刪除最長匹配word模式的內容後返回 | | ```${parameter%word}``` | 從尾開始刪除最短匹配word模式的內容後返回 | | ```${parameter%%word}``` | 從尾開始刪除最長匹配word模式的內容後返回 | | ```${parameter/pattern/string}``` | 最長匹配pattern的內容替換為string | | ```${parameter//pattern/string}``` | 所有匹配pattern的內容替換為string | #### ${!var} ```${!var}```是間接擴充套件。```bash``` 使用以 ```var``` 的其餘部分為名的變數的值作為變數的名稱； 接下來新的變數被擴充套件，它的值用在隨後的替換當中，而不是使用```var```自身的值。 有點拗口，舉個例子就懂了 ``` $ var_name=val $ val="Bash expansion" $ echo ${!var_name} Bash expansion ``` 所以，```${!var_name}```等效於```${val}```，就是取```val_name```的值作為變數名，再獲取新變數名的值。 ```!```有一種例外情況，那就是```${!prefix*}```，下面再介紹。 #### ${!prefix*} ```${!prefix*}```實現擴充套件為名稱以 prefix 開始的變數名，以特殊變數 IFS 的第一個字元分隔。換句話說，這種用法就是用於**獲取變數名**的。例如： ``` # 建立3個以VAR開頭的變數 $ VAR_A=a $ VAR_B=b $ VAR_C=c # 尋找以VAR開頭的變數名 $ echo ${!VAR*} VAR_A VAR_B VAR_C ``` #### ${#parameter} ```${#parameter}```用於獲取變數的長度。如果 ```parameter``` 是```*``` 或者是 ```@```, 替換的值是位置引數的個數。如果 ```parameter``` 是一個數組名，下標是 ```*``` 或者是 ```@```, 替換的值是陣列中元素的個數。 #### ${parameter:-word} ```${parameter:-word}```表示使用預設值。如果 ```parameter``` 未定義或值為空，將替換為 ```word``` 的擴充套件。否則，將替換為 parameter 的值。 #### ${parameter:=word} ```${parameter:=word}```賦預設值。如果 ```parameter``` 未定義或值為空， ```word``` 的擴充套件將賦予 ```parameter```。```parameter``` 的值將被替換。位置引數和特殊引數不能用這種方式賦值。 ```${parameter:=word}```和```${parameter:-word}```有什麼差別？還是舉個例子： ``` # 刪除var變數 $ unset var # 確認var變數為空 $ echo ${var} # 當var為空時，把test賦值給var，同時返回test $ echo ${var:=test} test # 可以看到，此時var已經被賦值 $ echo ${var} test # 再次刪除var變數，繼續實驗 $ unset var # 當var為空時，返回test $ echo ${var:-test} test # 對比驗證，此時var並沒有賦值 $ echo ${var} ``` 所以，差別在於，當```parameter```為空時，```${parameter:=word}```會比```${parameter:-word}```多做一步，就是把```word```的值賦給```parameter```。 #### ${parameter:?word} ```${parameter:?word}```主要用於當```parameter```為空時，顯示錯誤資訊```word```。```shell``` 如果不是互動的，則將退出。 #### ${parameter:+word} 如果 parameter 未定義或非空，不會進行替換；否則將替換為 word 擴充套件後的值。這與```${parameter:-word}```完全相反。簡單來說，就是**當```parameter```非空時，才使用```word```**。 #### ${parameter:offset} 同 ```${parameter:offset:length}``` #### ${parameter:offset:length} ```${parameter:offset:length}```可以實現字串的擷取，從```offset```開始，擷取```length```個字元。如果 offset 求值結果小於 0， 值將當作從 ```parameter``` 的值的末尾算起的偏移量。如果```parameter``` 是 ```@```，結果是 ```length``` 個位置引數，從 ```offset``` 開始。 如果 ```parameter``` 是一個數組名，以 ```@``` 或 ```*``` 索引，結果是陣列的 ```length``` 個成員，從 ```${parameter[offset]}``` 開始。 子字串的下標是從 0 開始的，除非使用位置引數時，下標從 1 開始。 #### ${parameter#word} 參考 ```${parameter##word}``` #### ${parameter##word} ```word```支援模式匹配，從```parameter```的開始位置尋找匹配，一個```#```的是尋找最短匹配，兩個```#```的是尋找最長匹配，把匹配的內容刪除後，把剩下的返回。例如： ``` $ str="we are testing, we are testing" $ echo ${str#*are} testing, we are testing $ echo ${str##*are} testing ``` 這必須是從頭開始刪的，如果要刪除中間的某一些字串，可以用```${parameter/pattern/string}```。 如果 ```parameter```是一個數組變數，下標是```@```或者是```*```，模式刪除將依次施用於陣列中的每個成員，最後擴充套件為結果的列表。 #### ${parameter%word} 參考```${parameter%%word}``` #### ${parameter%%word} 這也是在```parameter```中刪除匹配的內容後返回。```%```與```#```非常類似，前者是從頭開始匹配，後者是從尾部開始匹配。同樣的，一個```%```是尋找最短匹配，兩個```%%```是尋找最長匹配。例如： ``` $ str="we are testing, we are testing" $ echo ${str%are*} we are testing, we $ echo ${str%%are*} we ``` 這必須是從末端開始刪的，如果要刪除中間的某一些字串，可以用```${parameter/pattern/string}```。 如果 ```parameter```是一個數組變數，下標是```@```或者是```*```，模式刪除將依次施用於陣列中的每個成員，最後擴充套件為結果的列表。 #### ${parameter/pattern/string} 參考```${parameter//pattern/string}``` #### ${parameter//pattern/string} ```${parameter//pattern/string}```和```${parameter/pattern/string}```，主要實現了字串替換，當然，如果要替換的結果是空，就等效於刪除。一個```/```，表示只有第一個匹配的被替換，兩個```/```表示所有匹配的都替換。例如： ``` $ str="we are testing, we are testing" # 替換首次匹配 $ echo ${str/we are/I am} I am testing, we are testing # 替換所有匹配 $ echo ${str//we are/I am} I am testing, I am testing # 刪除首次匹配 $ echo ${str/are/} we testing, we are testing # 刪除所有匹配 $ echo ${str//are/} we testing, we testing ``` 如果```patten```以```#```開始，例如```${str/#we are/}```，則必須從頭開始就匹配；以```%```表示，例如```${str/%are testing/}```，必須從末端就要完全匹配。 如果 ```parameter```是一個數組變數，下標是```@```或者是```*```，模式刪除將依次施用於陣列中的每個成員，最後擴充套件為結果的列表。 ### 路徑擴充套件 我們經常會這樣使用路徑擴充套件，```ls ~/work*```，這裡的```*```就是路徑匹配的一種，表示匹配包含空串的任何字串。除了```*```之外，還有```?```和```[```。路徑擴充套件其實運用了**模式匹配**，所以匹配規則不妨直接看**模式匹配**。 #### 模式匹配 任何模式中出現的字元，除了下面描述的特殊模式字元外，都匹配它本身。 模式中不能出現 NUL 字元。如果要匹配字面上的特殊模式字元，它必須被引用。 特殊模式字元有下述意義： * ```*```: 匹配任何字串包含空串。 * ```?```: 匹配任何單個字元。 * ```[...]```: 匹配括號內的任意一個字元，與正則匹配一致。 與正則的```[...]```一致，```[!...]```或者```[^...]```表示不匹配括號內的字元；```[a-zA-Z]```表示從a到z以及從A到Z的所有字元；也支援```[:alinum:]```這類的特殊字元。 如果使用內建命令 shopt 啟用了 shell 選項 extglob， 將識別另外幾種模式匹配操作符。 * ```?(pattern-list)```：匹配所給模式零次或一次出現 * ```*(pattern-list)```：匹配所給模式零次或多次出現 * ```+(pattern-list)```：匹配所給模式一次或多次出現 * ```@(pattern-list)```：準確匹配所給模式之一 * ```!(pattern-list)```：任何除了匹配所給模式之一的字串 ## 重定向 簡單的重定向不累述了，講一些高階用法。 ### Here Documents here-document 的格式是： ``` <<[-]word here-document delimiter ``` 這種重定向使得 shell 從當前原始檔讀取輸入，直到遇到僅包含 ```word``` 的一行 (並且沒有尾部空白，trailing blanks) 為止。直到這一點的所有行被用作 命令的標準輸入。 還是聽拗口，咱們看例子： ``` $ cat < fist line > second line > third line > EOF fist line second line third line ``` 上述的做法，把兩個```EOF```之間的內容作為一個檔案，傳遞給```cat```命令。甚至，我們還有更高階的用法，實現動態建立檔案。 ``` $ kernel=linux $ cat > ./readme.txt < You are using kernel ${kernel} > EOF $ cat ./readme.txt You are using kernel linux ``` ### Here Strings here-document 的變種，形式是 ``` <<word```，使得以 ```word``` 擴充套件結果為名的檔案被開啟，通過檔案描述符 ```n``` 進行讀寫。如果沒有指定 ```n``` 那麼就使用檔案描述符 ```0```。如果檔案不存在，它將被建立。 這操作暫時沒用過，待補充示例。 ## 總結 本文結合```man bash```以及自己的一些經驗，總結了Shell程式設計的一些高階用法。還是那句話，建議有一定基礎的同學學習，畢竟在跑之前要先學會走路