1. 程式人生 > >自動化運維第一天、基礎自動化工具----正則表達式

自動化運維第一天、基礎自動化工具----正則表達式

表達式

正則表達式(grep,sed,awk)


一. 正則表達式

正則表達式,又稱規則表達式。(英語:Regular Expression,在代碼中常簡寫為regex、regexp或RE),計算機科學的一個概念。正則表達式是對字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。

要想真正的用好正則表達式,正確的理解元字符是最重要的事情。下表列出了所有的元字符和對它們的一個簡短的描述。

元字符

描述

\

將下一個字符標記符、或一個向後引用、或一個八進制轉義符。例如,“\\n”匹配\n。“\n”匹配換行符。序列“\\”匹配“\”而“\(”則匹配“(”。即相當於多種編程語言中都有的“轉義字符”的概念。

^

匹配輸入字符串的開始位置。如果設置了RegExp對象的Multiline屬性,^也匹配“\n”或“\r”之後的位置。

$

匹配輸入字符串的結束位置。如果設置了RegExp對象的Multiline屬性,$也匹配“\n”或“\r”之前的位置。

*

匹配前面的子表達式任意次。例如,zo*能匹配“z”,也能匹配“zo”以及“zoo”。

+

匹配前面的子表達式一次或多次(大於等於1次)。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等價於{1,}。

?

匹配前面的子表達式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等價於{0,1}。

{n}

n是一個非負整數。匹配確定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的兩個o。

{n,}

n是一個非負整數。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。

{n,m}

m和n均為非負整數,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”將匹配“fooooood”中的前三個o為一組,後三個o為一組。“o{0,1}”等價於“o?”。請註意在逗號和兩個數之間不能有空格。

?

當該字符緊跟在任何一個其他限制符(*,+,?,{n},{n,},{n,m})後面時,匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串,而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如,對於字符串“oooo”,“o+”將盡可能多的匹配“o”,得到結果[“oooo”],而“o+?”將盡可能少的匹配“o”,得到結果 [‘o‘, ‘o‘, ‘o‘, ‘o‘]

.點

匹配除“\r\n”之外的任何單個字符。要匹配包括“\r\n”在內的任何字符,請使用像“[\s\S]”的模式。

(pattern)

匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中則使用$0…$9屬性。要匹配圓括號字符,請使用“\(”或“\)”。

(?:pattern)

非獲取匹配,匹配pattern但不獲取匹配結果,不進行存儲供以後使用。這在使用或字符“(|)”來組合一個模式的各個部分時很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表達式。

(?=pattern)

非獲取匹配,正向肯定預查,在任何匹配pattern的字符串開始處匹配查找字符串,該匹配不需要獲取供以後使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。預查不消耗字符,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜索,而不是從包含預查的字符之後開始。

(?!pattern)

非獲取匹配,正向否定預查,在任何不匹配pattern的字符串開始處匹配查找字符串,該匹配不需要獲取供以後使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。

(?<=pattern)

非獲取匹配,反向肯定預查,與正向肯定預查類似,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。

(?<!pattern)

非獲取匹配,反向否定預查,與正向否定預查類似,只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows”中的“Windows”。這個地方不正確,有問題
此處用或任意一項都不能超過2位,如“(?<!95|98|NT|20)Windows正確,“(?<!95|980|NT|20)Windows 報錯,若是單獨使用則無限制,如(?<!2000)Windows 正確匹配

x|y

匹配x或y。例如,“z|food”能匹配“z”或“food”(此處請謹慎)。“[z|f]ood”則匹配“zood”或“food”或"|ood"。

[xyz]

字符集合。匹配所包含的任意一個字符。例如,“[abc]”可以匹配“plain”中的“a”。

[^xyz]

負值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“plin”。

[a-z]

字符範圍。匹配指定範圍內的任意字符。例如,“[a-z]”可以匹配“a”到“z”範圍內的任意小寫字母字符。
註意:只有連字符在字符組內部時,並且出現在兩個字符之間時,才能表示字符的範圍; 如果出字符組的開頭,則只能表示連字符本身.

[^a-z]

負值字符範圍。匹配任何不在指定範圍內的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”範圍內的任意字符。

\b

匹配一個單詞邊界,也就是指單詞和空格間的位置(即正則表達式的“匹配”有兩種概念,一種是匹配字符,一種是匹配位置,這裏的\b就是匹配位置的)。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。

\B

匹配非單詞邊界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。

\cx

匹配由x指明的控制字符。例如,\cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則,將c視為一個原義的“c”字符。

\d

匹配一個數字字符。等價於[0-9]。grep 要加上-P,perl正則支持

\D

匹配一個非數字字符。等價於[^0-9]。grep要加上-P,perl正則支持

\f

匹配一個換頁符。等價於\x0c和\cL。

\n

匹配一個換行符。等價於\x0a和\cJ。

\r

匹配一個回車符。等價於\x0d和\cM。

\s

匹配任何不可見字符,包括空格、制表符、換頁符等等。等價於[ \f\n\r\t\v]。

\S

匹配任何可見字符。等價於[^ \f\n\r\t\v]。

\t

匹配一個制表符。等價於\x09和\cI。

\v

匹配一個垂直制表符。等價於\x0b和\cK。

\w

匹配包括下劃線的任何單詞字符。類似但不等價於“[A-Za-z0-9_]”,這裏的"單詞"字符使用Unicode字符集。

\W

匹配任何非單詞字符。等價於“[^A-Za-z0-9_]”。

\xn

匹配n,其中n為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。例如,“\x41”匹配“A”。“\x041”則等價於“\x04&1”。正則表達式中可以使用ASCII編碼。

\num

匹配num,其中num是一個正整數。對所獲取的匹配的引用。例如,“(.)\1”匹配兩個連續的相同字符。

\n

標識一個八進制轉義值或一個向後引用。如果\n之前至少n個獲取的子表達式,則n為向後引用。否則,如果n為八進制數字(0-7),則n為一個八進制轉義值。

\nm

標識一個八進制轉義值或一個向後引用。如果\nm之前至少有nm個獲得子表達式,則nm為向後引用。如果\nm之前至少有n個獲取,則n為一個後跟文字m的向後引用。如果前面的條件都不滿足,若n和m均為八進制數字(0-7),則\nm將匹配八進制轉義值nm。

\nml

如果n為八進制數字(0-7),且m和l均為八進制數字(0-7),則匹配八進制轉義值nml。

\un

匹配n,其中n是一個用四個十六進制數字表示的Unicode字符。例如,\u00A9匹配版權符號(&copy;)。

\p{P}

小寫 p 是 property 的意思,表示 Unicode 屬性,用於 Unicode 正表達式的前綴。中括號內的“P”表示Unicode 字符集七個字符屬性之一:標點字符。
其他六個屬性:
L:字母;
M:標記符號(一般不會單獨出現);
Z:分隔符(比如空格、換行等);
S:符號(比如數學符號、貨幣符號等);
N:數字(比如阿拉伯數字、羅馬數字等);
C:其他字符。
*註:此語法部分語言不支持,例:javascript。

\<
\>

匹配詞(word)的開始(\<)和結束(\>)。例如正則表達式\<the\>能夠匹配字符串"for the wise"中的"the",但是不能匹配字符串"otherwise"中的"the"。註意:這個元字符不是所有的軟件都支持的。


將( 和 ) 之間的表達式定義為“組”(group),並且將匹配這個表達式的字符保存到一個臨時區域(一個正則表達式中最多可以保存9個),它們可以用 \1 到\9 的符號來引用。


將兩個匹配條件進行邏輯“或”(Or)運算。例如正則表達式(him|her) 匹配"it belongs to him"和"it belongs to her",但是不能匹配"it belongs to them."。註意:這個元字符不是所有的軟件都支持的。

在linux中,通配符是由shell解釋的,而正則表達式則是由命令解釋的,下面我們就為大家介紹三種文本處理工具/命令:grep、sed、awk,它們三者均可以解釋正則。

二. grep

1. grep指令用於查找內容包含指定的範本樣式的文件,如果發現某文件的內容符合所指定的範本樣式,預設grep指令會把含有範本樣式的那一列顯示出來。若不指定任何文件名稱,或是所給予的文件名為"-",則grep指令會從標準輸入設備讀取數據。

語法

grep[-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<範本樣式>][-f<範本文件>][--help][範本樣式][文件或目錄...]

參數:

§ -a或--text 不要忽略二進制的數據。

§ -A<顯示列數>或--after-context=<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之後的內容。

§ -b或--byte-offset 在顯示符合範本樣式的那一列之前,標示出該列第一個字符的位編號。

§ -B<顯示列數>或--before-context=<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之前的內容。

§ -c或--count 計算符合範本樣式的列數。

§ -C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之前後的內容。

§ -d<進行動作>或--directories=<進行動作>當指定要查找的是目錄而非文件時,必須使用這項參數,否則grep指令將回報信息並停止動作。

§ -e<範本樣式>或--regexp=<範本樣式>指定字符串做為查找文件內容的範本樣式。

§ -E或--extended-regexp 將範本樣式為延伸的普通表示法來使用。

§ -f<範本文件>或--file=<範本文件> 指定範本文件,其內容含有一個或多個範本樣式,讓grep查找符合範本條件的文件內容,格式為每列一個範本樣式。

§ -F或--fixed-regexp 將範本樣式視為固定字符串的列表。

§ -G或--basic-regexp 將範本樣式視為普通的表示法來使用。

§ -h或--no-filename 在顯示符合範本樣式的那一列之前,不標示該列所屬的文件名稱。

§ -H或--with-filename 在顯示符合範本樣式的那一列之前,表示該列所屬的文件名稱。

§ -i或--ignore-case 忽略字符大小寫的差別。

§ -l或--file-with-matches 列出文件內容符合指定的範本樣式的文件名稱。

§ -L或--files-without-match 列出文件內容不符合指定的範本樣式的文件名稱。

§ -n或--line-number 在顯示符合範本樣式的那一列之前,標示出該列的列數編號。

§ -q或--quiet或--silent 不顯示任何信息。

§ -r或--recursive 此參數的效果和指定"-d recurse"參數相同。

§ -s或--no-messages 不顯示錯誤信息。

§ -v或--revert-match 反轉查找。

§ -V或--version 顯示版本信息。

§ -w或--word-regexp 只顯示全字符合的列。

§ -x或--line-regexp 只顯示全列符合的列。

§ -y 此參數的效果和指定"-i"參數相同。

§ --help 在線幫助。

實例1 查找當前目錄下包含”test“內容的所有文件

grep -r 匹配內容目錄,以遞歸的方式查找此目錄及子目錄下文件的內容

技術分享

實例2 反向查找(-v)

查找文件中不包含”test“內容的行

技術分享

2. egrep(擴展正則)

egrep執行效果與"grep-E"相似,使用的語法及參數可參照grep指令,與grep的不同點在於解讀字符串的方法。

egrep是用extended regular expression語法來解讀的,而grep則用basic regular expression 語法解讀,extended regular expression比basic regular expression的表達更規範。

語法

egrep [範本模式] [文件或目錄]

參數說明:

§ [範本模式] :查找的字符串規則。

§ [文件或目錄] :查找的目標文件或目錄。

實例1 查找當前目錄下包含“Apple”內容的文件,並顯示匹配的行

技術分享

實例2 匹配用戶配置文件中以“字母+數字+字母”命名的用戶

技術分享

三. sed

Linux sed命令是利用script來處理文本文件。

sed可依照script的指令,來處理、編輯文本文件。

Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。

語法

sed[-hnV][-e<script>][-f<script文件>][文本文件]

參數說明:

§ -e<script>或--expression=<script>以選項中指定的script來處理輸入的文本文件。

§ -f<script文件>或--file=<script文件>以選項中指定的script文件來處理輸入的文本文件。

§ -h或--help 顯示幫助。

§ -n或--quiet或--silent 僅顯示script處理後的結果。

§ -V或--version 顯示版本信息。

動作說明:

§ a :新增, a 的後面可以接字串,而這些字串會在新的一行出現(目前的下一行)~

§ c :取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!

§ d :刪除,因為是刪除啊,所以 d 後面通常不接任何咚咚;

§ i :插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行);

§ p :列印,亦即將某個選擇的數據印出。通常 p 會與參數 sed -n 一起運行~

§ s :取代,可以直接進行取代的工作哩!通常這個 s的動作可以搭配正規表示法!例如1,20s/old/new/g 就是啦!

實例1 在“log.txt"的第4行後添加一行

技術分享

實例2 將文件中的第2,3行刪除並顯示出來(註意,實際上”log.txt“文件並沒有被修改)

技術分享

實例3 將文件中的2,3行用”No 2-3 number“取代

技術分享

實例4 匹配每一行是否有”is“,然後僅輸出匹配的行的內容

技術分享

實例5 匹配包含”is“的行,並將其中的’a‘替換為’A‘

{}內為執行的命令,每條命令之間用”;“隔開

技術分享

實例6 多點編輯,將文件中的第3行刪除,並將”test“替換為”TEST“

技術分享

實例7 直接修改文件內容(危險動作)

sed 可以直接修改文件的內容,不必使用管道命令或數據流重導向!不過,由於這個動作會直接修改到原始的文件,所以請你千萬不要隨便拿系統配置來測試!

在文件最後一行插入一行內容”How are you today“,並保存

技術分享

四. awk

之所以叫AWK是因為其取了三位創始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。

語法

§ awk [選項參數] ‘script‘ var=value file(s)

§ awk [選項參數] -f scriptfile var=valuefile(s)

選項參數說明:

§ -F fs or --field-separator fs

§ 指定輸入文件折分隔符,fs是一個字符串或者是一個正則表達式,如-F:。

§ -v var=value or --asign var=value

§ 賦值一個用戶定義變量。

§ -f scripfile or --file scriptfile

§ 從腳本文件中讀取awk命令。

§ -mf nnn and -mr nnn

§ 對nnn值設置內在限制,-mf選項限制分配給nnn的最大塊數目;-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能,在標準awk中不適用。

§ -W compact or --compat, -W traditional or --traditional

§ 在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣,所有的awk擴展都被忽略。

§ -W copyleft or --copyleft, -W copyright or --copyright

§ 打印簡短的版權信息。

§ -W help or --help, -W usage or --usage

§ 打印全部awk選項和每個選項的簡短說明。

§ -W lint or --lint

§ 打印不能向傳統unix平臺移植的結構的警告。

§ -W lint-old or --lint-old

§ 打印關於不能向傳統unix平臺移植的結構的警告。

§ -W posix

§ 打開兼容模式。但有以下限制,不識別:/x、函數關鍵字、func、換碼序列以及當fs是一個空格時,將新行作為一個域分隔符;操作符**和**=不能代替^和^=;fflush無效。

§ -W re-interval or --re-inerval

§ 允許間隔正則表達式的使用,參考(grep中的Posix字符類),如括號表達式[[:alpha:]]。

§ -W source program-text or --source program-text

§ 使用program-text作為源代碼,可與-f命令混用。

§ -W version or --version

§ 打印bug報告信息的版本。

運算符

運算符

描述

= += -= *= /= %= ^= **=

賦值

?:

C條件表達式


邏輯或

&&

邏輯與

~ ~!

匹配正則表達式和不匹配正則表達式

< <= > >= != ==

關系運算符

空格

連接

+ -

加,減

* / &

乘,除與求余

+ - !

一元加,減和邏輯非

^ ***

求冪

++ --

增加或減少,作為前綴或後綴

$

字段引用

in

數組成員


實例1

技術分享

實例2

技術分享

實例3

技術分享

實例4

技術分享

內建變量

變量

描述

\$n

當前記錄的第n個字段,字段間由FS分隔

\$0

完整的輸入記錄

ARGC

命令行參數的數目

ARGIND

命令行中當前文件的位置(從0開始算)

ARGV

包含命令行參數的數組

CONVFMT

數字轉換格式(默認值為%.6g)ENVIRON環境變量關聯數組

ERRNO

最後一個系統錯誤的描述

FIELDWIDTHS

字段寬度列表(用空格鍵分隔)

FILENAME

當前文件名

FNR

同NR,但相對於當前文件

FS

字段分隔符(默認是任何空格)

IGNORECASE

如果為真,則進行忽略大小寫的匹配

NF

當前記錄中的字段數

NR

當前記錄數

OFMT

數字的輸出格式(默認值是%.6g)

OFS

輸出字段分隔符(默認值是一個空格)

ORS

輸出記錄分隔符(默認值是一個換行符)

RLENGTH

由match函數所匹配的字符串的長度

RS

記錄分隔符(默認是一個換行符)

RSTART

由match函數所匹配的字符串的第一個位置

SUBSEP

數組下標分隔符(默認值是/034)


實例5

技術分享

實例6 awk腳本

關於awk腳本,我們需要註意兩個關鍵詞BEGIN和END。

BEGIN{ 這裏面放的是執行前的語句 }

END {這裏面放的是處理完所有的行後要執行的語句 }

{這裏面放的是處理每一行時要執行的語句}

假設有這麽一個文件(學生成績表):

技術分享

我們的awk腳本如下:

技術分享

我們來看一下執行結果:

技術分享

實例7 從文件中找出長度大於18的行

技術分享



自動化運維第一天、基礎自動化工具----正則表達式