一、正則表示式

      正則表示式是對字串（包括普通字元（例如，a 到 z 之間的字母）和特殊字元（稱為“元字元”））操作的一種邏輯公式，就是用事先定義好的一些特定字元、及這些特定字元的組合，組成一個“規則字串”，這個 “規則字串”用來表達對字串的一種過濾邏輯。正則表示式是一種文字模式，模式描述在搜尋文字時要匹配的一個或多個字串。可以使用grep、sed、awk命令來測試正則表示式。

二、grep 文字過濾明令

1.gaep 概念

grep 命令是一種強大的文字搜尋工具，根據使用者指定的”模式“對目標文字進行匹配檢查，列印匹配到的行。由正則表示式或者字元及基本文字字元所編寫的過濾條件

2.基本命令

用法：grep 匹配條件 處理檔案

基本命令：

grep  root   passwd         過濾出passwd中root字元

grep  ^root  passwd         以root開頭的

grep  root$  passwd         結尾

grep  -i  root  passwd      忽略大小寫過濾

grep  root  passwd  |  grep  -i  -E  "^root|root$"  -v      過濾root 在中間的行

grep -E -i "^root|root$" passwd   過濾以root開頭或結尾的行忽略大小寫

grep -E -i -v "^root|root$" passwd    過濾以root開頭或結尾以外的行忽略大小寫

3.grep 中的正則表示式

^westos  以westos開頭   westos$  以westos結尾   'w....s' 以w開頭s結尾  'w.....' 以w開頭  '.....s' 以s結尾

4.引數的介紹

-E  擴充套件正則表示式     -i 忽略大小寫      -v 反向過濾把不符合條件的遮蔽

*   字元出現 0-任意次

^
錨定行的開始 如：'^grep'匹配所有以grep開頭的行。
$
錨定行的結束 如：'grep$'匹配所有以grep結尾的行

\<
錨定單詞的開始，如:'\<grep'匹配包含以grep開頭的單詞的行。
\>
錨定單詞的結束，如'grep\>'匹配包含以grep結尾的單詞的行。

x\{m\}
重複字元x，m次，如：'o\{5\}'匹配包含5個o的行。
x\{m,\}
重複字元x,至少m次，如：'o\{5,\}'匹配至少有5個o的行。
x\{m,n\}
重複字元x，至少m次，不多於n次，如：'o\{5,10\}'匹配5--10個o的行

x\{ab\}\{m\}ab    關鍵字元出現 m 次

  .*                    關鍵字之間匹配任意字元

\+   匹配一個或多個先前的字元。

\?    匹配零個或一個先前的字元。

三、sed 行編輯器

1.sed 概述

sed 用來操作純 ASCLL 碼的文字。處理時，把當前處理的行儲存在臨時緩衝區中，稱為”模式空間“

可以指定僅僅處理哪些行。

sed 符合模式條件的處理，不符合條件的不予處理，處理完成後把緩衝區的內容送往螢幕。

2.sed 命令格式

呼叫sed 命令的兩種形式：

sed [options] 'command' file

sed [options] -f scriptfile file

3.sed 對字元的處理

n讀取下一個輸入行，用下一個命令處理新的行而不是用第一個命令。

N追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。

=列印當前行號碼

p 顯示 d 刪除  a 新增   c 替換  w 寫入   i 插入

1）p 顯示模式操作

 sed -n ' /\:/p' fastab   顯示檔案中帶 ：的行     其中 \ 表示轉譯

sed -n  '/UUID$/p' fastab  顯示文中以UUID 結尾的行

sed -n  '/^UUID/p' fastab   顯示文中以UUID 開頭的行

sed -n  '2,6p' fastab         顯示文中2-6行

sed -n  '2,6!p' fastab         不顯示文中2-6行

sed -n  '3p;5p;6p'  fastab    顯示文中的3行，5行，6行

sed -n   -e '2p' -e '6p'  fastab   顯示第二行和第六行 （-e 表示多個條件）

sed -ne  '2p;6p' fastab  顯示第二行和第六行

sed -ne  '2!p;6!p' | uniq -d  fastab  顯示除了第二行和第六行以外的行

2）d 刪除模式

sed ' /^#/d' fastab   刪除檔案中以#開頭的行  

刪除fstab中不以#開頭的行

sed -e ' /^$/d' fastab   刪除空格行

sed  '/UUID$/d' fastab  刪除文中以UUID 結尾的行

sed   '/^UUID/d' fastab   刪除文中以UUID 開頭的行

刪除fstab中5-7行

刪除fstab中第5和第7行

3)a 新增模式 （在匹配行後新增）

sed '/^UUID/a\ hello' fstab   在以UUID開頭行的後面新增hello (sed要求命令a後面有一個反斜槓。)

sed '/^UUID/a\ hello\ntest' fstab   在以UUID開頭行的後面新增hello行和test 行 （\n 表示換行新增）

4）i 插入模式（在匹配行前插入）

sed '/^UUID/i\hello' fstab  在以UUID開頭行的前面插入hello (sed要求命令i後面有一個反斜槓。)

5)替換：c命令

sed '/^UUID/c\hello' fstab  在以UUID開頭行替換成hello (sed要求命令c後面有一個反斜槓。)

6)w 寫入模式

sed -n '/test/w file' example        在example中所有包含test的行都被寫入file裡。

4.sed 其他用法

1）sed -n -f prctise fstab  對fstab執行prctise 策略

2）字元替換

sed 's/nologin/ /g' passwd   將passwd全文的nologin替換成空格

sed '1,5s/nologin/ /g' passwd   將前5行的nologin替換成空格

將/daemon/至/mail/中的/nologin替換成#

3）sed '[email protected]/@#####@g' fstab   @相當於/的意思

4）G 用法

sed 'G' fstab   將fstab每行後插入空行

sed '$!G' fstab   除了最後一行，每行後插入空行

5）=

sed '=' file    顯示行號

sed -n '/^UUID/=' fstab  只顯示行數

sed '/^UUID/=' fstab   顯示行數和內容

sed '=' passwd | sed 'N;s/\n/ /g'  在檔案的行前面加行號（N追加下一個輸入行到模板塊後面並在二者間嵌入一個新行，改變當前行號碼。）

四、awk 報告生成器

1.awk 概述

awk 是一種用於處理文字的程式語言工具。awk 會逐行處理文字，支援在處理第一行之前做一些準備工作，以及在處理完最後一行做一些總結性質的工作，在命令格式上分別體現如下：

BEGIN{ }:讀入第一行文字之前執行，一般用來初始化操作

{ } :逐行處理，逐行讀入文字執行相應的處理，是最常見的編輯指令塊

END：處理完最後一行文字之後執行，一般用來輸出處理結果

2.awk 基本用法 （linux 上預設使用gawk）

1）awk -F : 'BEGIN{print "name:"}{print $1}'  passwd

在passwd文字中以：為分隔符，處理前列印name,列印第一列

2）awk -F : 'BEGIN{print "name:"}{print $1}'END{print NR}'  passwd

在passwd文字中以：為分隔符，處理前列印name,列印第一列，處理完成後列印行數

（NR 行  NF 列）

3）awk -F : '/bash$/{print $1}' /etc/passwd             以bash結尾的使用者

4）awk -F : '/bash$/||/sh$/{print $1}' /etc/passwd    以bash 或者以 sh 結尾的使用者

5）awk -F : 'NR==3' passwd  以：為分隔符，列印第三列

6）awk 'BEGIN{N=0}{N++}END{print N}' passwd  從零開始統計行數

7）awk '/^a|nologin$/{print}'  /etc/passwd  列印以a 開頭或者以nologin 結尾的行

8）awk -F : '$6~/\<bin\>/{print}' passwd   列印第六個欄位為 bin的行 （即使用者家目錄為bin的行）

9) awk -F : '$6!~/\<bin\>/{print}' passwd  列印第六個欄位不為 bin的行

3.awk 測試

抓取eth0網絡卡的ip

統計在系統中可以登陸系統的使用者