Shell指令碼深入教程(1)：快速入門
Shell指令碼基礎入門
Bash註釋
Bash只支援單行註釋，使用#開頭的都被當作註釋語句：
# 整行註釋
echo hello world # 行尾註釋通過Bash的一些特性，可以取巧實現多行註釋：
: '
註釋1
註釋2
'
: <<'EOF'
註釋1
註釋2
EOF
____='
註釋1
註釋2
'但是，別閒的蛋疼去用取巧的多行註釋，安心用#來註釋。
Bash基本資料型別
Bash中基本資料型別只有字串型別，連數值型別都沒有(declare -i可強制宣告數值型別)。
比如：
# 都會當作字串 echo haha echo 1234
Bash字串串聯
Bash中字串的串聯操作，直接將兩段資料連線在一起即可，不需要任何操作符。
例如：
echo "junma""jinlong"
echo 1234 5678命令基本知識
變數賦值和引用變數
a=3
echo $a
a="www.junmajinlong.com"
echo $a
a='hello world'
echo $aShell中可以引用未定義的變數：
echo $xyzdefabc可以定義空變數：
a=
echo $a變數替換
變數替換是指在命令開始執行前，Shell會先將變數的值替換到引用變數的位置處。
例如：
a="hello"
echo $a world在echo命令開始執行前，Shell會取得變數a的值hello，並將它替換到命令列的$a處。於是，在echo命令開始執行時，命令列已經變成：
echo hello world除了變數替換，Shell還會做其它替換：
- 命令替換
- 程序替換
- 算術運算替換
- 大括號擴充套件
- 波浪號擴充套件
- 路徑擴充套件
這些擴充套件和替換，都是Shell在呼叫命令之前就完成的，這和其它語言解析程式碼的方式不一樣。
後面會詳細解釋Shell是如何做命令列解析的，如果不掌握命令列解析，當遇到命令列語法錯誤後很可能會花掉大量無謂的時間去除錯命令。而掌握命令列解析後，就會對命令生命週期瞭如執掌，不敢說一次就能寫對所有命令列，但能節省大量除錯時間，對寫命令列和寫指令碼的能力也會上升一個層次。
命令替換
使用反引號或$()可以執行命令替換。
`cmd`
$(cmd)命令替換是指先執行cmd，將cmd的輸出結果替換到$()或反引號位置處。
例如：
echo `id root`
echo $(id root)在echo命令執行前，會先執行id命令，id命令的執行結果：
$ id root
uid=0(root) gid=0(root) groups=0(root)所以會將結果uid=0(root) gid=0(root) groups=0(root)替換$(id root)。於是，echo命令開始執行時，命令列已經變成了：
echo uid=0(root) gid=0(root) groups=0(root)算術運算
$[]或$(())或let命令可以做算術運算。
let是單獨的命令，不能寫在其它命令列中。
a=3
let a=a+1
echo $a$[]和$(())可以寫在命令列內部，Shell在解析命令列的時候，會對它們做算術運算，然後將運算結果替換到命令列中。
a=33
echo $[a+3]
echo $((a+3))因為變數替換先於算術替換，所以，使用變數名或引用變數的方式都可以：
a=333
echo $[$a+3]
echo $(($a+3))退出狀態碼
每個命令執行後都會有對應的程序退出狀態碼，用來表示該程序是否是正常退出。
所以，在命令列中，在Shell指令碼中，經常會使用特殊變數$?判斷最近一個前臺命令是否正常退出。
通常情況下，如果$?的值：
- 為0，表示程序成功執行，即正常退出
- 非0，表示程序未成功執行，即非正常退出
- 但非0退出狀態碼並不一定表示錯誤，也可能是正常邏輯的退出
另外，在Shell指令碼中，所有條件判斷(比如if語句、while語句)都以0退出狀態碼錶示True，以非0退出狀態碼為False。
exit命令
exit命令可用於退出當前Shell程序，比如退出當前Shell終端、退出Shell指令碼，等等。
exit [N]exit可指定退出狀態碼N，如果省略N，則預設退出狀態碼為0，即表示正確退出。
後臺執行命令&
在命令的結尾使用&符號，可以將這個命令放入後臺執行。
命令放入後臺後，會立即回到Shell程序，Shell程序會立即執行下一條命令(如果有)或退出。
使用$!可以獲取最近一個後臺程序的PID。
sleep 20 &
echo $!使用wait命令可以等待後臺程序(當前Shell程序的子程序)完成：
wait [n1 n2 n3 ...]不給定任何引數時，會等待所有子程序(即所有後臺程序)完成。
sleep 5 &
wait
echo haha多命令組合
Shell中有多種組合多個命令的方式。
1.cmd1退出後，執行cmd2
cmd1;cmd22.cmd1正確退出(退出狀態碼為0)後，執行cmd2
cmd1 && cmd23.cmd1不正確退出後，執行cmd2
cmd1 || cmd24.邏輯結合：&&和||可以隨意結合
# cmd1正確退出後執行cmd2，cmd2正確退出後執行cmd3
cmd1 && cmd2 && cmd3...
# cmd1正確退出則執行cmd2，cmd1不正確退出會執行cmd3
# cmd1正確退出，但cmd2不正確退出，也會執行cmd3
cmd1 && cmd2 || cmd3
# cmd1正確退出會執行cmd3
# cmd1不正確退出會執行cmd2，cmd2正確退出會執行cmd3
cmd1 || cmd2 && cmd35.將多個命令分組：小括號或大括號可以組合多個命令
# 小括號組合的多個命令是在子Shell中執行
# 即會先建立一個新的Shell程序，在執行裡面的命令
(cmd1;cmd2;cmd3)
# 大括號組合的多個命令是在當前Shell中執行
# 大括號語法特殊，要求：
# 1.開閉括號旁邊都有空白，否則語法解析錯誤(解析成大括號擴充套件)
# 2.寫在同一行時，每個cmd後都要加分號結尾
# 3.多個命令可分行書寫，不要求分號結尾
{ cmd1;cmd2;cmd3; }
{
cmd1
cmd2
cmd3
}基本重定向
軟體設計認為，程式應該有一個數據來源、資料出口和報告錯誤的地方。在Linux系統中，每個程式預設都會開啟三個檔案描述符(file descriptor,fd)：
- fd=0：標準輸入，表示程式預設從哪裡讀取資料
- fd=1：標準輸出，表示程式預設將資料輸出到哪裡
- fd=2：標準錯誤，表示程式預設將錯誤資訊輸出到哪裡
檔案描述符，說白了就是系統為了跟蹤開啟的檔案而分配給它的一個數字，這個數字和檔案有對應關係：從檔案描述符讀取資料，即表示從對應的檔案中讀取資料，向檔案描述符寫資料，即表示向對應檔案中寫入資料。
Linux中萬物皆檔案，檔案描述符也是檔案。預設：
- fd=0的標準輸入是/dev/stdin檔案
- fd=1的標準輸出是/dev/stdout檔案
- fd=2的標準錯誤是/dev/stderr檔案
這些檔案預設又是各個終端的軟連結檔案：
$ ls -l /dev/std*
lrwxrwxrwx 1 root root 15 Jan 8 20:26 /dev/stderr -> /proc/self/fd/2
lrwxrwxrwx 1 root root 15 Jan 8 20:26 /dev/stdin -> /proc/self/fd/0
lrwxrwxrwx 1 root root 15 Jan 8 20:26 /dev/stdout -> /proc/self/fd/1
$ ls -l /proc/self/fd/
lrwx------ 1 root root 64 Jan 16 10:40 0 -> /dev/pts/0
lrwx------ 1 root root 64 Jan 16 10:40 1 -> /dev/pts/0
lrwx------ 1 root root 64 Jan 16 10:40 2 -> /dev/pts/0
lr-x------ 1 root root 64 Jan 16 10:40 3 -> /proc/75220/fd所以，預設情況下讀寫資料都是終端，例如：
# 資料輸出到終端
$ echo haha
$ cat /etc/fstab
# 從終端讀取資料
$ cat
hello # 在終端輸入
hello # 在終端輸出
world # 在終端輸入
world # 在終端輸出
^C改變檔案描述符對應的目標，可以改變資料的流向。比如標準輸入fd=1預設流向是終端裝置，若將其改為/tmp/a.log，便能讓資料寫入/tmp/a.log檔案中而不再是終端裝置中。
在Shell中，這種改變檔案描述符目標的行為稱為重定向，即重新確定資料的流向。
其實，檔案描述符有很多類操作，包括fd的重定向、fd的分配(open，即開啟檔案)、fd複製(duplicate)、fd的移動(move)、fd的關閉(close)。現在只介紹基礎重定向操作。
Shell中，基礎重定向操作有以下幾種方式：
[n]>file：覆蓋式輸出重定向，輸出到fd=n的資料改變流向輸出到file檔案中，file不存在則建立，file存在則先清空再寫入資料- 省略n時
>file，等價於1>file，即標準輸出覆蓋重定向到file檔案中
- 省略n時
[n]>>file：追加式輸出重定向，輸出到fd=n的資料改變流向輸出到file檔案的尾部，file不存在則建立，file存在則直接追加在檔案尾部- 省略n時
>>file，等價於1>>file，即標準輸出追加重定向到file檔案中
- 省略n時
[n]<file：輸入重定向，以讀取模式開啟file檔案並分配fd=n，file不存在則報錯- 省略n時
<file，等價於0<file，即直接從file中讀資料
- 通常程式都只從fd=0中讀資料，所以當n不等於0時，需要多做一步操作
3<file <&3，看不懂先跳過
- 省略n時
&>file：這是特殊的重定向方式，表示將標準錯誤和標準輸出都重定向到file檔案中，等價於>file 2>&1
&>>file：這是特殊的重定向方式，表示將標準錯誤和標準輸出都追加到file檔案中，等價於>>file 2>&1
另外，經常用於輸出的一個特殊目標檔案是/dev/null，它是空裝置，可以直接丟掉所有寫入它的資料。
echo www.junmajinlong.com >/dev/null
curl -I www.junmajinlong.com 2>/dev/null >/tmp/a.log
cat </etc/fstab一個經常用的技巧是清空檔案的方式：
$ cat /dev/null >file
$ >file區分cat <file和cat file
cat是一個命令，這個命令的原始碼中寫了一些程式碼用來處理選項和引數。
cat -n /etc/fstabcat命令開始執行後，會識別-n選項，該選項會讓cat輸出時同時輸出行號，cat同時還會識別/etc/fstab引數，cat會讀取引數指定的檔案然後輸出。
如果沒有指定cat的檔案引數，則cat預設會從標準輸入中讀取資料。預設的標準輸入是終端，所以在沒有改變標準輸入的流向時，會從終端讀取資料，也就是使用者輸入什麼字元，就讀取什麼字元，然後輸出什麼字元：
$ cat
junmajinlong # 在終端輸入
junmajinlong # 在終端輸出
junma # 在終端輸入
junma # 在終端輸出
^C但使用者可以改變標準輸入的來源。比如：
$ cat </etc/fstab表示將標準輸入來源改為/etc/fstab檔案，於是cat會從/etc/fstab中讀取資料。
另外，約定俗成的，會使用一個-來表示標準輸入或標準輸出。
# 下面是等價的，都表示從標準輸入中讀取資料
cat -
cat /dev/stdin
cat注：這並非是一貫正確的，只是約定俗成的大多數程式的程式碼中都定義了-相關的程式碼處理。可參考相關命令的man手冊。如man cat中有一行：
With no FILE, or when FILE is -, read standard input.here doc
輸入重定向是<，除此之外還有<<、<<<。
<<符號表示here doc。也就是說，它後面跟的是一篇文件，就像一個檔案一樣，只不過這個檔案的內容是臨時定義在<<符號後的。here doc常用於指定多行資料輸入。
既然是文件，就有文件起始符號表示文件從此開始和文件終止符號表示文件到此結束。起始符和終止符中間的內容全部是文件內容。文件內容會作為標準輸入的資料被讀取。
文件的起始符和終止符可以隨意定義，但兩者前後必須一樣。常見的符號是：
- EOF：end of file
- EOL：end of line
- EOB：end of block
例如：
# here doc作為標準輸入被讀取，然後被cat輸出
cat <<EOF
hello
world
EOF
# here doc的內容還會被cat覆蓋式輸出到指定檔案
cat <<eof >/tmp/file
hello
world
eof
# here doc的內容還會被cat追加式輸出到指定檔案
cat <<eof >>/tmp/file
hello
world
eof
# here doc和重定向符號的前後位置隨意
cat >>/tmp/file<<eof
...
eof另外，如果將起始符用引號包圍，則不會進行變數替換、命令替換、算術替換等。如果不用引號包圍起始符，則會進行替換。
a=333
cat <<eof
$a
eof
cat <<"eof"
$a
eof輸出結果：
333
$ahere string
<<<表示here string。也就是說該符號後面是一個字串，這個字串會作為標準輸入的內容。
cat <<<"www.junmajinlong.com"使用單引號包圍here string時，不會進行變數替換、命令替換等，使用雙引號包圍時會進行替換。
$ a=3333
$ cat <<<$a
3333
$ cat <<<"hello world$a"
hello world3333
$ cat <<<'hello world$a'
hello world$ahere string常可以替代管道前的echo命令echo xxx|。例如：
# 下面是等價的
echo hello world | grep "llo"
grep "llo" <<<"hello world"管道
管道的用法：
cmd1 | cmd2 | cmd3...每個豎線代表一個管道。上面命令列表示cmd1的標準輸出會放進管道，cmd2會從管道中讀取進行處理，cmd2的標準輸出會放入另一個管道，cmd3會從這個管道中讀取資料進行處理。後面還可以接任意數量的管道。
Shell管道是Shell中最值得稱讚的功能之一，它以非常簡潔的形式實現了管道的程序間通訊方式，我個人認為Shell處理文字資料的半壁江山都來自於豎線形式的管道。像其它程式語言，開啟管道後還要區分哪個程序寫管道、哪個程序讀管道，為了安全，每個程序還要關閉不用的讀端或寫端，總之就是麻煩，而Shell的管道非常簡潔，豎線左邊的就是寫管道的，豎線右邊的就是讀管道的。
例如：
ps aux | grep 'sshd'ps命令產生的資料(標準輸出)會寫進管道，只要管道內一有資料，grep命令就從中讀取資料進行處理。
那下面的命令中，grep從哪讀資料呢？
ps aux | grep '#' /etc/fstab那想要讓grep既從/etc/fstab讀取資料，也從管道中讀取資料呢？
ps aux | grep '#' /etc/fstab /etc/stdin
ps aux | grep '#' /etc/fstab -tee命令
tee命令可將一份標準輸入原樣拷貝到標準輸出和0或多個檔案中。換句話說，tee的作用是資料多重定向。
NAME
tee - read from standard input and write to standard output and files
SYNOPSIS
tee [OPTION]... [FILE]...
DESCRIPTION
Copy standard input to each FILE, and also to standard output.
-a, --append
ppend to the given FILEs, do not overwrite如圖：
例如：
$ echo hello world | tee /tmp/file1 /tmp/file2 | cat
$ echo hello world | tee -a /tmp/file3 >/dev/null程序替換
Bash還支援程序替換(注：有些Shell不支援程序替換)。
程序替換的語法：
<(cmd)
>(cmd)程序替換和命令替換類似，都是讓cmd命令先執行，因為它們都是在Shell解析命令列的階段執行的。
程序替換先讓cmd放入後臺非同步執行，並且不會等待cmd執行完。
其實，每個程序替換都是一個虛擬檔案，只不過這個檔案的內容是由cmd命令產生的(<(cmd))或被cmd命令讀取的(>(cmd))。
$ echo <(echo www.junmajinlong.com)
/dev/fd/63既然程序替換是檔案，那麼它就可以像檔案一樣被操作。比如被讀取、被當作標準輸入重定向的資料來源等等：
# cmd做資料產生者
$ cat <(echo www.junmajinlong.com) # 等價於cat /dev/fd/63
$ cat < <(echo www.junmajinlong.com) # 等價於cat </dev/fd/63
# cmd做資料接收者
$ echo hello world > >(grep 'llo')
$ echo hello world | tee >(grep 'llo') >(grep 'rld') >/dev/null條件測試語句
test命令或功能等價的Bash內建命令[ ]可以做條件測試，如果測試的結果為True，則退出狀態碼為0。
此外，還可以使用[[]]來做條件測試，甚至let、$[]、$(())也可以做條件測試，但這裡暫不介紹。
這些條件測試常用在if、while語句中，也常用在cmd1 && cmd2 || cmd3格式的命令列中。
用法示例：
sh_file=test.sh
[ -x "$sh_file" ] && ./$sh_file || { echo "can't execute,exit...";exit 1; }
test -x "$sh_file" && ./$sh_file || { echo "can't execute,exit...";exit 1; }[]中的條件測試需要和開閉中括號使用空格隔開，否則語法解析錯誤(解析成萬用字元號)。
無測試內容
[ ]
test沒有任何測試內容時，直接返回false。
true和false命令
true命令直接返回true，即退出狀態碼為0。
false命令直接返回false，即退出狀態碼非0。
$ true
$ echo $? # 0
$ false
$ echo $? # 1檔案類測試
| 條件表示式 | 含義 |
|---|---|
| -e file | 檔案是否存在(exist) |
| -f file | 檔案是否存在且為普通檔案(file) |
| -d file | 檔案是否存在且為目錄(directory) |
| -b file | 檔案是否存在且為塊裝置block device |
| -c file | 檔案是否存在且為字元裝置character device |
| -S file | 檔案是否存在且為套接字檔案Socket |
| -p file | 檔案是否存在且為命名管道檔案FIFO(pipe) |
| -L file | 檔案是否存在且是一個連結檔案(Link) |
檔案屬性類測試
| 條件表示式 | 含義 |
|---|---|
| -r file | 檔案是否存在且當前使用者可讀 |
| -w file | 檔案是否存在且當前使用者可寫 |
| -x file | 檔案是否存在且當前使用者可執行 |
| -s file | 檔案是否存在且大小大於0位元組，即檢測檔案是否非空檔案 |
| -N file | 檔案是否存在，且自上次read後是否被modify |
兩檔案之間的比較
| 條件表示式 | 含義 |
|---|---|
| file1 -nt file2 | (newer than)判斷file1是否比file2新 |
| file1 -ot file2 | (older than)判斷file1是否比file2舊 |
| file1 -ef file2 | (equal file)判斷file1與file2是否為同一檔案 |
數值大小比較
| 條件表示式 | 含義 |
|---|---|
| int1 -eq int2 | 兩數值相等(equal) |
| int1 -ne int2 | 兩數值不等(not equal) |
| int1 -gt int2 | n1大於n2(greater than) |
| int1 -lt int2 | n1小於n2(less than) |
| int1 -ge int2 | n1大於等於n2(greater than or equal) |
| int1 -le int2 | n1小於等於n2(less than or equal) |
字串比較
| 條件表示式 | 含義 |
|---|---|
| -z str | (zero)判定字串是否為空？str為空串，則true |
| str -n str |
判定字串是否非空？str為串，則false。注：-n可省略 |
| str1 = str2 str1 == str2 |
str1和str2是否相同，相同則返回true。"=="和"="等價 |
| str1 != str2 | str1是否不等於str2，若不等，則返回true |
| str1 > str2 | str1字母順序是否大於str2，若大於則返回true |
| str1 < str2 | str1字母順序是否小於str2，若小於則返回true |
邏輯運算子
| 條件表示式 | 含義 |
|---|---|
| -a或&& | (and)兩表示式同時為true時才為true。 "-a"只能在test或[]中使用，&&只能在[[]]中使用 |
| -o或|| | (or)兩表示式任何一個true則為true。 "-o"只能在test或[]中使用，||只能在[[]]中使用 |
| ! | 對錶達式取反 |
| ( ) | 改變表示式的優先順序，為了防止被shell解析，應加上反斜線轉義( ) |
if語句
if test-commands; then
consequent-commands;
[elif more-test-commands; then
more-consequents;]
[else alternate-consequents;]
fitest-commands既可以是test測試或[]、[[]]測試，也可以是任何其它命令，test-commands用於條件測試，它只判斷命令的退出狀態碼是否為0，為0則為true。
例如：
if [ "$a" ];then echo '$a' is not none;else echo '$a' undefined or empty;fi
if [ ! -d ~/.ssh ];then
mkdir ~/.ssh
chown -R $USER.$USER ~/.ssh
chmod 700 ~/.ssh
fi
if grep 'junmajinlong' /etc/passwd &>/dev/null;then
echo 'User "junmajinlong" already exists...'
elif grep 'malongshuai' /etc/passwd &>/dev/null;then
echo 'User "malongshuai" already exists...'
else
echo 'you should create user,exit...'
exit 1
ficase
case常用於確定的分支判斷。比如：
case "$1" in
start)
echo start;;
stop)
echo stop
;;
restart)
echo restart
;;
reload | force-reload)
echo reload;;
status)
echo status;;
*)
echo $"Usage: $0 {start|stop|status|restart|reload|force-reload}"
exit 2
esaccase用法基本要求：
- 除最後一個分支外，每個分支都以
;;結尾，否則出現分支穿透(所以;;不是必須的)
- 分支條件可以使用萬用字元號
- 分支條件中可使用豎線隔開多個條件，表示只要匹配其中之一就執行該分支
- 最後一般會定義一個能匹配其它任意條件的預設分支，即
*)
for迴圈
有兩種for迴圈結構：
# 成員測試類語法
for i in word1 word2 ...;do cmd_list;done
# C語言for語法
for (( expr1;expr2;expr3 ));do cmd_list;done成員測試類的for迴圈中，in關鍵字後是使用空格分隔的一個或多個元素，for迴圈時，每次從in關鍵字後面取一個元素並賦值給i變數。
例如：
$ for i in 1 2 3 4;do echo $i;done
1
2
3
4
$ for i in 1 2 "3 4";do echo $i;done
1
2
3 4C語言型的for語法中，expr1是初始化語句，expr2是迴圈終點條件判斷語句，expr3是每輪迴圈後執行的語句，一般用來更改條件判斷相關的變數。
for ((i=1;i<=3;++i));do echo $i;done
1
2
3while迴圈
while test_cmd_list;do cmd_list;donewhile迴圈，開始時會測試test_cmd_list，如果測試的退出狀態碼為0，則執行一次迴圈體語句cmd_list，然後再測試test_cmd_list，一直迴圈，直到測試退出狀態碼非0，迴圈退出。
例如：
let i=1,sum=0;
while [ $i -le 10 ];do
let sum=sum+i
let ++i
done還有until迴圈語句，但在Shell中用的很少。
while迴圈經常會和read命令一起使用，read是Bash的內建命令，可用來讀取檔案，通常會按行讀取：每次讀一行。
例如：
cat /etc/fstab | while read line;do
let num+=1
echo $num: $line
done上面的命令列中，首先cat程序和while結構開始執行，while結構中的read命令從標準輸入中讀取，也就是從管道中讀取資料，每次讀取一行，因為管道中最初沒有資料，所以read命令被阻塞處於資料等待狀態。當cat命令讀完檔案所有資料後，將資料放入到管道中，於是read命令從管道中每次讀取一行並將所讀行賦值給變數line，然後執行迴圈體，然後繼續迴圈，直到read讀完所有資料，迴圈退出。
但注意，管道兩邊的命令預設是在子Shell中執行的，所以其設定的變數在命令執行完成後就消失。換句話說，在父Shell中無法訪問這些變數。比如上面的num變數是在管道的while結構中設定的，除了在while中能訪問該變數，其它任何地方都無法訪問它。
如果想要訪問while中賦值的變數，就不能使用管道。如果是直接從檔案讀取，可使用輸入重定向，如果是讀取命令產生的資料，可使用程序替換。
while read line;do
let num1+=1
echo $num1: $line
done </etc/fstab
echo $num1
while read line;do
let num2+=1
echo $num2: $line
done < <(grep 'UUID' /etc/fstab)