1.高階文字命令——sed

1.1sed簡介

sed全稱是：Stream EDitor，即流編輯器，是一個很好的文字處理工具，本身是一個管道命令，處理時，把當前處理的行儲存在臨時緩衝區中，接著用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往螢幕。接著處理下一行。它是以行為單位進行處理，可以將資料行進行替換、刪除、新增、選取等特定工作。

1.2sed選項

-n ：使用安靜(silent)模式。在一般 sed 的用法中，所有來自 STDIN 的資料一般都會被列出到終端上。但如果加上 -n 引數後，則只有經過sed 特殊處理的那一行(或者動作)才會被列出來。
-e ：直接在命令列模式上進行 sed 的動作編輯；
-i ：直接修改讀取的檔案內容，而不是輸出到終端。

1.3sed函式

a ：新增， a 的後面可以接字串，而這些字串會在新的一行出現(目前的下一行)
d ：刪除，因為是刪除啊，所以 d 後面通常不接任何內容
i ：插入， i 的後面可以接字串，而這些字串會在新的一行出現(目前的上一行)
p ：列印，亦即將某個選擇的資料印出。通常 p 會與引數 sed -n 一起執行
s ：取代，可以直接進行取代的工作！通常這個 s 的動作可以搭配正規表示法！例如 20s/old/new/g
練習：

刪除之後寫入
sed '2d' testfile   只在展示的時候刪除第二行，實際testfile檔案並沒有改變
sed -i '2d' testfile   將第二行刪除並寫入testfile檔案，那麼實際上testfile的第二行就被物理刪除了。

替換
sed 's/hell/8888/g'
 
 testfile   以s開頭代表替換，將hell替換成8888，/g代表全域性替換，整個檔案中的hell都被替換，如果不寫則只替換第一個。
sed -i 's/hell/88888/g' testfile  替換完之後並寫入到testfile檔案，即物理替換。

2.高階文字命令——awk

2.1簡介

awk是一種優良的文字處理工具。其名稱得自於它的創始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首個字母，awk 提供了極其強大的功能：可以進行樣式裝入、流控制、數學運算子、程序控制語句甚至於內建的變數和函式。它具備了一個完整的語言所應具有的幾乎所有精美特性。實際上 awk 的確擁有自己的語言：awk 程式設計語言， 三位建立者已將它正式定義為“樣式掃描和處理語言”。它允許你建立簡短的程式，這些程式讀取輸入檔案、為資料排序、處理資料、對輸入執行計算以及生成報表，還有其他的許多功能。
練習：

last查最近登入的使用者 
last -n 5 查最近登入的五個使用者
last -n 5 | awk  '{print $1}'  查最近登入的五個使用者並把結果作為後面的輸入，輸出第一列的值，即輸出最近登入的五個使用者的使用者名稱。
awk工作流程是這樣的：讀入有'\n'換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，$0則表示所有域,$1表示第一個域,$n表示第n個域。預設域分隔符是"空白鍵" 或 "[tab]鍵",所以$1表示登入使用者，$3表示登入使用者ip,以此類推（說白了，其實就是以空格或tab作為分隔符劃分為幾列，$1就是取第一列的值）。

3.高階文字命令——cut、wc、sort

3.1cut命令

cut命令可以從一個文字檔案或者文字流中提取文字列，有點類似於java中的split（分割）。
cut語法：

cut -d'分隔字元' -f fields <==用於有特定分隔字元
cut -c 字元區間            <==用於排列整齊的資訊

選項與引數：
-d ：後面接分隔字元。與 -f 一起使用；
-f ：依據 -d 的分隔字元將一段資訊分割成為數段，用 -f 取出第幾段的意思；
-c ：以字元 (characters) 的單位取出固定字元區間；
示例：

[[email protected] ~]# echo $PATH
/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games
1 | 2       | 3   | 4       | 5            | 6            | 7

將 PATH 變數取出，要找出第五個路徑。
echo $PATH | cut -d ':' -f 5
/usr/local/bin

將 PATH 變數取出，要找出第三和第五個路徑。
echo $PATH | cut -d ':' -f 3,5
/sbin:/usr/local/bin

將 PATH 變數取出，要找出第三到最後一個路徑。
echo $PATH | cut -d ':' -f 3-
/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/games

將 PATH 變數取出，要找出第一到第三個路徑。
echo $PATH | cut -d ':' -f 1-3
/bin:/usr/bin:/sbin:

將 PATH 變數取出，我要找出第一到第三，還有第五個路徑。
echo $PATH | cut -d ':' -f 1-3,5
/bin:/usr/bin:/sbin:/usr/local/bin

3.2wc命令

wc命令用來統計檔案裡面有多少單詞，多少行，多少字元。
wc語法：

wc [-lwm]
選項與引數：
-l  ：僅列出行；
-w  ：僅列出多少字(英文單字)；
-m  ：多少字元；

示例：

使用wc統計/etc/passwd
wc /etc/passwd
40   45 1719 /etc/passwd
40是行數，45是單詞數，1719是位元組數

wc -l /etc/passwd   #統計行數，在對記錄數時，很常用
40 /etc/passwd       #表示系統有40個賬戶

wc -w /etc/passwd  #統計單詞出現次數
45 /etc/passwd

wc -m /etc/passwd  #統計檔案的字元數
1719

3.3sort 命令

sort 命令對 File 引數指定的檔案中的行排序，並將結果寫到標準輸出。如果 File 引數指定多個檔案，那麼 sort 命令將這些檔案連線起來，並當作一個檔案進行排序。
sort語法：

sort [-fbMnrtuk] [file or stdin]
選項與引數：
-f  ：忽略大小寫的差異，例如 A 與 a 視為編碼相同；
-b  ：忽略最前面的空格符部分；
-M  ：以月份的名字來排序，例如 JAN, DEC 等等的排序方法；
-n  ：使用『純數字』進行排序(預設是以文字型態來排序的)；
-r  ：反向排序；
-u  ：就是 uniq ，相同的資料中，僅出現一行代表；
-t  ：分隔符，預設是用 [tab] 鍵來分隔；
-k  ：以那個區間 (field) 來進行排序的意思

例如：

對/etc/passwd 的賬號進行排序
cat /etc/passwd | sort
adm:x:3:4:adm:/var/adm:/sbin/nologin
apache:x:48:48:Apache:/var/www:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
sort 預設以第一個資料來排序，而且預設是以字串形式來排序,所以由字母 a 開始升序排序。

/etc/passwd 內容是以 : 來分隔的，如果想以第三欄來排序，該如何
cat /etc/passwd | sort -t ':' -k 3
root:x:0:0:root:/root:/bin/bash
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin

4.Shell程式設計

4.0Shell介紹

Shell是使用者與核心進行互動的一種介面，目前最流行的Shell是bash Shell；Shell也是一門程式語言（解釋型的程式語言），即shell指令碼。一個系統可以存在多個shell，可以通過：cat /etc/shells 命令檢視系統中安裝的shell，不同的shell可能支援的命令語法是不相同的。

4.1 Shell的執行方式

首先需要賦予+x的許可權，即執行的許可權
- bash或sh +指令碼，就是sh加空格加指令碼名稱

sh /root/helloWorld.sh
或
sh helloWorld.sh

• 在指令碼的路徑前加”. “

./startup.sh

4.2變數和運算子

• 變數：Shell中的變數分為“系統變數”和“使用者自定義變數”，可以通過set命令檢視當前所有的變數
  系統變數：HOME、PWD、SHELL、USER等等。
  自定義變數：需要注意以下幾點。
  定義規則：變數＝值；
  等號兩側不能有空格；
  變數名稱一般習慣為大寫；
  雙引號和單引號有區別，雙引號僅將空格脫意，單引號會將所有特殊字元脫意；
  使用unset 變數名 來撤銷變數；
  使用readonly 宣告靜態變數；
  使用export可將自定義變數提升為全域性變數，例如我們在配置jdk時，就會把JAVA_HOME提升為系統變數。

STR=abc
就是定義了一個變數STR，它的值是abc.
STR="hello world"
就是定義了一個變數STR，它的值是hello world
A=9
unset A   就是撤銷變數 A
readonly B=2 宣告靜態的變數 B=2 ，不能 unset
export 變數名 可把變數提升為全域性環境變數，可供其他shell程式使用

• 將命令的返回值賦給變數
  可以使用以下兩種方式將返回值賦給變數

1.A=`ls -la` 反引號，執行裡面的命令(列舉出所有的檔案)，並把結果返回給變數A，注意這個點號是tab鍵上面的那個符號，而不是引號。
2.A=$(ls -la) 等價於反引號

• 特殊變數

$? 表示上一個命令退出的狀態,0表示執行正常，不等於0表示執行不正常。
$$ 表示當前程序編號
$0 表示當前指令碼名稱
$n 表示n位置的輸入引數（n代表數字，n>=1）
$#     表示引數的個數，常用於迴圈
$*和[email protected] 都表示引數列表 

• 運算子：
  格式 :expr m + n 或$((m+n)) ，注意expr運算子間要有空格，m,n與+之間也要有空格。
  計算（5+4）*6

#!/bin/bash
S=`expr 5 + 4`
expr $S \* 6

echo $(((2+3)*4))

輸出結果是54和20，值得注意的是上面的表示式expr與5，+與5,4之間都要有空格，輸出結果不能帶echo，下面的表示式輸出結果必須帶echo，而且2與3，+之間無空格。
寫完指令碼之後記得chmod +x expr.sh給指令碼新增許可權。

4.3迴圈

• for迴圈
  第一種形式

下面這三種等價，記住一種即可，我一般用第一種
#!/bin/bash
for N in 1 2 3
do echo $N 
done

for N in 1 2 3;
do echo $N;
done

for N in {1..3};
do echo $N;
done

第二種形式

for((i=1;i<=5;i++))
do
  echo "weclome $i"
done

注意括號必須是兩對，就是這種語法，而且不能是int i=1,而是直接寫i=1。
- while迴圈

#!/bin/bash
i=1
while((i<=5))
do
  echo "welcome $i"
  let i++
done

do開始執行語句，done代表執行結束，let i++代表讓i++,改變i的值

4.4條件語句

#!/bin/bash
case $1 in
start)
   echo "starting"
   ;;
stop)
   echo "stoping"
   ;;
*)
  echo "沒有匹配的"
esac

這裡需要傳一個引數進來，用$1接住，然後判斷這個引數如果等於start就輸出starting，注意;;不能省略，不然會報錯，如果輸入stop，那這裡就輸出stoping，如果引數都不匹配，就輸出沒有匹配的，結尾的esac就是case的倒過來，這些計算機上古大神設計的東西確實很奇妙，不同於現在大部分這樣結尾的，而是把單詞倒過來，666。
測試的時候就需要傳入引數,我這個指令碼的名稱是case.sh，測試命令如下，start，star是傳入的引數。

[root@server1 test]# sh case.sh start
starting
[root@server1 test]# sh case.sh star
沒有匹配的

4.5read命令

命令規則：read -p “提示語句” 引數，這個類似於java中的Scanner，就是獲取使用者在控制檯輸入的內容。

[root@server1 test]# read -p "請輸入你的名稱:" name
請輸入你的名稱:Java開發日記
[root@server1 test]# echo $name
Java開發日記

也可以把這個命令編寫在shell指令碼中，我這裡用read.sh來寫

#!/bin/bash
read -p "請輸入你的名字:" name
echo $name

測試時：

[root@server1 test]# sh read.sh 
請輸入你的名字:Java開發日記
Java開發日記

4.6 if語句

#!/bin/bash
read -p "請輸入使用者名稱" NAME
printf '%s\n' $NAME
if [ $NAME = root ]
   then
        echo "歡迎你 ${NAME}"
elif [ $NAME = magic ]
   then
        echo "歡迎你，${NAME}"          
else
        echo "你是誰，滾犢子"
fi

首先從控制檯輸入一個使用者名稱，如果誰的等於root，或者等於magic，歡迎，如果都不是，提示出錯資訊。這裡有幾點注意，條件表示式裡面的[與字串，字串與=中間都需要有空格，不然報錯，條件表示式用中括號而不是小括號，是elif而不是elseif，結束時是fi（if反過來寫）。
測試時：

[[email protected] test]# sh if.sh 
請輸入使用者名稱root
root
歡迎你 root
[[email protected] test]# sh if.sh 
請輸入使用者名稱magic
magic
歡迎你，magic
[[email protected] test]# sh if.sh 
請輸入使用者名稱haha
haha
你是誰，滾犢子

補充1：條件表示式裡面如果是非空則是true，空則是false，例如[ magic ]則是true,[ ]則是false，可以$?進行驗證。
補充2：[ condition ] && echo OK || echo notok，條件滿足，執行輸出OK，否則輸出notok，類似於java中的三目運算。測試示例如下：

[ $NAME = magic ] && echo  magic || echo root

如果輸入的$NAME等於magic，則輸出magic，否則輸出root。

4.7常用判斷條件

= 字串比較
-lt 小於
-le 小於等於
-eq 等於
-gt 大於
-ge 大於等於
-ne 不等於
-r 有讀的許可權
-w 有寫的許可權
-x 有執行的許可權
-f 檔案存在並且是一個常規的檔案
-s 檔案存在且不為空
-d 檔案存在並是一個目錄
-b檔案存在並且是一個塊裝置
-L 檔案存在並且是一個連結