一、grep文字過濾器

1. 基本介紹

Global search regular expression and print out theline
全面搜尋研究正則表示式並顯示出來 grep命令是一種強大的文字搜尋工具根據使用者指定的
“模式”對目標文字進行比配檢查，列印匹配到的行，由正則表示式或者字元及基本文字字元所編寫的過濾條件。

2. grep中字元的匹配位置設定

grep 匹配條件 處理檔案
    ^關鍵字  #關鍵字開頭的行
    關鍵字$ #關鍵字結尾的行
    \<關鍵字 #不再向前擴充套件
    關鍵字\> #不再向後擴充套件
 

    \<關鍵字\> #不再向前後擴充套件

例如：

[root@sunshine shell]# grep root passwd                    #匹配有root的行
[root@sunshine shell]# grep ^root passwd                   #匹配root開頭的行
[root@sunshine shell]# grep root$ passwd                   #匹配root結尾的行          
[root@sunshine shell]# grep -i ^root passwd                #-i忽略大小寫
 

[root@sunshine shell]# grep -i -E "^root|root$"  passwd   #-E識別|符號，"|"表示“或”
[root@sunshine shell]# grep -i -E -v "^root|root$"  passwd #-v反向過濾

2. grep中字元的匹配次數設定

* #字元出現0-任意次
\? #字元出現0-1次
+ #字元出現0-任意次
{n} #字元出現n次
{m,n} #字元出現m-n次
{0,n} #字元出現0-n次
{m,} #字元最少出現m次
(xy){n}xy #關鍵字出現n次
.* #關鍵字之間匹配任意字元要加-E 
 

例如：

[root@sunshine shell]# grep -E "r*t" file
[root@sunshine shell]# grep -E "r.*t" file       #匹配rt之間任意字元的行
[root@sunshine shell]# grep -E "r..." file       #匹配r後面有三個字元字元的行
[root@sunshine shell]# grep -E "r...\>" file     #匹配r後面有三個字元字元的行,不向後做擴充套件
[root@sunshine shell]# grep -E "\<r..." file     #匹配r後面有三個字元字元的行,不向前做擴充套件
[root@sunshine shell]# grep -E "\<r...\>" file   #匹配r後面有三個字元字元的行,不向前後做擴充套件
[root@sunshine shell]# grep -E "ro*t" file       #匹配rt之間o出現0-任意次的行
[root@sunshine shell]# grep -E "ro?t" file       #匹配rt之間o出現0-1次的行
[root@sunshine shell]# grep -E "r0{1,}t" file    #匹配rt之間o出現1-任意次的行
[root@sunshine shell]# grep -E "ro{1}t" file     #匹配rt之間o出現1次的行
[root@sunshine shell]# grep -E "ro{0,1}t" file   #匹配rt之間o出現0-1次的行
[root@sunshine shell]# grep -E "(root){1,}" file #匹配root關鍵子出現1-任意次的行

指令碼編寫例項：
編寫指令碼檢測哪些使用者可以登入主機

[[email protected] shell]# vim user_check.sh
#!/bin/bash
SHELL=$(echo `grep -v nologin /etc/shells`|sed 's/ /|/g')
grep -E "$SHELL" /etc/passwd | cut -d : -f 1
[[email protected] shell]# sh user_check.sh 

指令碼內容

二、sed行編輯器

1. 基本介紹

1）sed行編輯器

stream editor
用來操作純 ASCII 碼的文字處理時，把當前處理的行儲存在臨時緩衝區中，稱為“模式空間”(pattern space)可以指定僅僅處理哪些行，sed 符合模式條件的處理，不符合條件的不予處理，處理完成之後把緩衝區的內容送往螢幕，接著處理下一行，這樣不斷重複，直到檔案末尾。

2）呼叫 sed 命令有兩種形式：

            sed [options] 'command' file(s)
            sed [options] -f scriptfile file(s)

3）選項

 -n :使用安靜(silent)模式。在一般 sed 的用法中,所有來自 STDIN 的資料一般都會被列出到螢幕上。 
 但如果加上 -n 引數後,則只有經過 sed 特殊處理的那一行(或者動作)才會被列出來。
-e :直接在命令列介面上進行 sed 的動作編輯;
-f :直接將 sed 的動作寫在一個檔案內,-f filename 則可以執行 filename 內的 sed 動作;
-r :sed 的動作支援的是延伸型正則表示式的語法。(預設是基礎正則表示式語法)
-i :直接修改讀取的檔案內容,而不是由螢幕輸出。

4）sed 對字元的處理

p 顯示
d 刪除
a 新增
c 替換
w 寫入
i 插入

2.sed 的常見操作

1） p顯示

例如：

[root@sunshine shell]# sed -n '/\:/p' fstab        #顯示有：的行
[root@sunshine shell]# sed -n '/UUID$/p' fstab     #顯示UUID結尾的行
[root@sunshine shell]# sed -n '/^UUID/p' fstab     #顯示UUID開頭的行
[root@sunshine shell]# sed -n '2,6p' fstab         #顯示2到6行
[root@sunshine shell]# sed -n '2,6!p' fstab        #不顯示2到6行
[root@sunshine shell]# cat -n fstab | sed -ne '2!p;6!p' | uniq -d #不顯示第二行>
和第六行

指令碼編寫例項：
編寫指令碼建立使用者，使用者名稱為userfile裡面的內容，密碼為passwordfile裡面的內容

[[email protected] shell]# vim user_create.sh
#!/bin/bash
MAX_LINE=`wc -l $1 | cut -d " " -f 1`
for LINE_NUM in `seq 1 $MAX_LINE`
do
     USERNAME=`sed -n "${LINE_NUM}p" $1`
     PASSWORD=`sed -n "${LINE_NUM}p" $2`
     useradd $USERNAME
     echo $PASSWORD | passwd --stdin $USERNAME
done
[[email protected] shell]# sh user_create.sh userfile passwordfile 

指令碼及檔案內容：


執行結果：

2）a新增（預設新增到關鍵字下面一行）

[root@sunshine shell]# sed -e '/hello/aworld' file

3）i 插入（預設插入到關鍵字上面一行）

[root@sunshine shell]# sed -e '/hello/iworld' file

4）c 替換

[root@sunshine shell]# sed -e '/hello/cworld' file

5）d 不顯示

[root@sunshine shell]# sed -e '/^#/d;/^$/d' fstab

6）w 寫入

[root@sunshine shell]# sed '/^UUID/w file' fstab                #儲存到檔案並顯示
[root@sunshine shell]# sed -n '/^UUID/w file' fstab             #儲存到檔案不顯示

7）sed其他用法

[[email protected] shell]# sed '/^UUID/= ' fstab                    #顯示UUID的行數，結果和內容
[[email protected] shell]# sed -n -e '/^UUID/p' -e '/^UUID/= ' fstab#顯示UUID的行數，只顯示結果
[[email protected] shell]# sed 'G' fstab                            #每行後加空行
[[email protected] shell]# sed '$!G' fstab                          #每行後加空行，不包括最後一行
[[email protected] shell]# sed 's/nologin/linux/g' passwd           #替換，g表示全文替換
[[email protected] shell]# sed -e '/adm/,/sync/s/nologin/linux/g' passwd 
[[email protected] shell]# sed 's/nologin/linux/g' -i  passwd       #替換並儲存
[[email protected] shell]# sed '=' test | sed 'N; s/\n/ /'  #成行號，並將兩行間的換行變成空格

三、awk報告生成器

awd 報告生成器基本用法
awk處理機制：awk會逐行處理文字，支援在處理第一行之前做一些準備工作以及在處理完最後一行做一 些總結性質的工作，在命令格式上分別體現如下：
BEGIN{ }：讀入第一行文字之前執行，一般用來初始化操作
{ }：逐行處理，逐行讀入文字執行相應的處理，是最常見的編輯指令
END{ }：處理完最後一行文字之後執行，一般用來輸出處理結果
linux上面預設使用 gawk

1. awk 通過 print 的功能將欄位資料列出來

1）方式一

 awk -F : '{print NR " " NF " " $1  }' passwd
     -F ：分隔符型別，預設為空格
     NR ：第幾行
     NF ：有幾列
     $1 ：以“:”為分隔符的第一列資料

2）方式二

 awk -F : 'BEGIN{print "NAME"}{print $1}END{print "END"}' passwd
      # BEGIN {print "NAME"} 處理資料前，執行顯示"NAME"字元
      # END {print "END"} 處理資料後，執行顯示"END"字元

2. 一些其他的用法表達

1）

 awk '/bash$/' passwd   # 列出以 bash 結尾的行

2）統計一個檔案有多少行

awk 'BEGIN{N=0}{N++}END{print N}' /etc/passwd

3）對指定行與內容進行顯示

 awk -F : '/^ro/{print}' passwd
     # 以：為分隔符，顯示以 ro 字元開頭的行
 awk -F : '/^[a-d]/{print $1,$6}' passwd
     # 顯示以字母 a-d 開頭的行的第 1 列，第 6 列
 awk -F : '/^a|nologin$/{print $1,$7}' passwd
     # 顯示以 a 開頭，以 nologin 結尾的行的第 1 列，第 7 列
 awk -F : '$6~/bin$/{print $1,$6}' passwd
     # 顯示從第 6 列開始，以 bin 結尾的列所在行的第 1 列，第 6 列 
 awk -F : '$7!~/nologin$/{print $1,$6}' passwd
     # 顯示除了從第 7 列開始以 nologin 結尾的行的第 1 列，第 6 列