自動化運維第一天、基礎自動化工具----正則表達式
正則表達式(grep,sed,awk)
一. 正則表達式
正則表達式,又稱規則表達式。(英語:Regular Expression,在代碼中常簡寫為regex、regexp或RE),計算機科學的一個概念。正則表達式是對字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個“規則字符串”,這個“規則字符串”用來表達對字符串的一種過濾邏輯。
要想真正的用好正則表達式,正確的理解元字符是最重要的事情。下表列出了所有的元字符和對它們的一個簡短的描述。
元字符 | 描述 |
\ | 將下一個字符標記符、或一個向後引用、或一個八進制轉義符。例如,“\\n”匹配\n。“\n”匹配換行符。序列“\\”匹配“\”而“\(”則匹配“(”。即相當於多種編程語言中都有的“轉義字符”的概念。 |
^ | 匹配輸入字符串的開始位置。如果設置了RegExp對象的Multiline屬性,^也匹配“\n”或“\r”之後的位置。 |
$ | 匹配輸入字符串的結束位置。如果設置了RegExp對象的Multiline屬性,$也匹配“\n”或“\r”之前的位置。 |
* | 匹配前面的子表達式任意次。例如,zo*能匹配“z”,也能匹配“zo”以及“zoo”。 |
+ | 匹配前面的子表達式一次或多次(大於等於1次)。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等價於{1,}。 |
? | 匹配前面的子表達式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等價於{0,1}。 |
{n} | n是一個非負整數。匹配確定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的兩個o。 |
{n,} | n是一個非負整數。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等價於“o+”。“o{0,}”則等價於“o*”。 |
{n,m} | m和n均為非負整數,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”將匹配“fooooood”中的前三個o為一組,後三個o為一組。“o{0,1}”等價於“o?”。請註意在逗號和兩個數之間不能有空格。 |
? | 當該字符緊跟在任何一個其他限制符(*,+,?,{n},{n,},{n,m})後面時,匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串,而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如,對於字符串“oooo”,“o+”將盡可能多的匹配“o”,得到結果[“oooo”],而“o+?”將盡可能少的匹配“o”,得到結果 [‘o‘, ‘o‘, ‘o‘, ‘o‘] |
.點 | 匹配除“\r\n”之外的任何單個字符。要匹配包括“\r\n”在內的任何字符,請使用像“[\s\S]”的模式。 |
(pattern) | 匹配pattern並獲取這一匹配。所獲取的匹配可以從產生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中則使用$0…$9屬性。要匹配圓括號字符,請使用“\(”或“\)”。 |
(?:pattern) | 非獲取匹配,匹配pattern但不獲取匹配結果,不進行存儲供以後使用。這在使用或字符“(|)”來組合一個模式的各個部分時很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表達式。 |
(?=pattern) | 非獲取匹配,正向肯定預查,在任何匹配pattern的字符串開始處匹配查找字符串,該匹配不需要獲取供以後使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。預查不消耗字符,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜索,而不是從包含預查的字符之後開始。 |
(?!pattern) | 非獲取匹配,正向否定預查,在任何不匹配pattern的字符串開始處匹配查找字符串,該匹配不需要獲取供以後使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。 |
(?<=pattern) | 非獲取匹配,反向肯定預查,與正向肯定預查類似,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。 |
(?<!pattern) | 非獲取匹配,反向否定預查,與正向否定預查類似,只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows”中的“Windows”。這個地方不正確,有問題 |
x|y | 匹配x或y。例如,“z|food”能匹配“z”或“food”(此處請謹慎)。“[z|f]ood”則匹配“zood”或“food”或"|ood"。 |
[xyz] | 字符集合。匹配所包含的任意一個字符。例如,“[abc]”可以匹配“plain”中的“a”。 |
[^xyz] | 負值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“plin”。 |
[a-z] | 字符範圍。匹配指定範圍內的任意字符。例如,“[a-z]”可以匹配“a”到“z”範圍內的任意小寫字母字符。 |
[^a-z] | 負值字符範圍。匹配任何不在指定範圍內的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”範圍內的任意字符。 |
\b | 匹配一個單詞邊界,也就是指單詞和空格間的位置(即正則表達式的“匹配”有兩種概念,一種是匹配字符,一種是匹配位置,這裏的\b就是匹配位置的)。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。 |
\B | 匹配非單詞邊界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。 |
\cx | 匹配由x指明的控制字符。例如,\cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則,將c視為一個原義的“c”字符。 |
\d | 匹配一個數字字符。等價於[0-9]。grep 要加上-P,perl正則支持 |
\D | 匹配一個非數字字符。等價於[^0-9]。grep要加上-P,perl正則支持 |
\f | 匹配一個換頁符。等價於\x0c和\cL。 |
\n | 匹配一個換行符。等價於\x0a和\cJ。 |
\r | 匹配一個回車符。等價於\x0d和\cM。 |
\s | 匹配任何不可見字符,包括空格、制表符、換頁符等等。等價於[ \f\n\r\t\v]。 |
\S | 匹配任何可見字符。等價於[^ \f\n\r\t\v]。 |
\t | 匹配一個制表符。等價於\x09和\cI。 |
\v | 匹配一個垂直制表符。等價於\x0b和\cK。 |
\w | 匹配包括下劃線的任何單詞字符。類似但不等價於“[A-Za-z0-9_]”,這裏的"單詞"字符使用Unicode字符集。 |
\W | 匹配任何非單詞字符。等價於“[^A-Za-z0-9_]”。 |
\xn | 匹配n,其中n為十六進制轉義值。十六進制轉義值必須為確定的兩個數字長。例如,“\x41”匹配“A”。“\x041”則等價於“\x04&1”。正則表達式中可以使用ASCII編碼。 |
\num | 匹配num,其中num是一個正整數。對所獲取的匹配的引用。例如,“(.)\1”匹配兩個連續的相同字符。 |
\n | 標識一個八進制轉義值或一個向後引用。如果\n之前至少n個獲取的子表達式,則n為向後引用。否則,如果n為八進制數字(0-7),則n為一個八進制轉義值。 |
\nm | 標識一個八進制轉義值或一個向後引用。如果\nm之前至少有nm個獲得子表達式,則nm為向後引用。如果\nm之前至少有n個獲取,則n為一個後跟文字m的向後引用。如果前面的條件都不滿足,若n和m均為八進制數字(0-7),則\nm將匹配八進制轉義值nm。 |
\nml | 如果n為八進制數字(0-7),且m和l均為八進制數字(0-7),則匹配八進制轉義值nml。 |
\un | 匹配n,其中n是一個用四個十六進制數字表示的Unicode字符。例如,\u00A9匹配版權符號(©)。 |
\p{P} | 小寫 p 是 property 的意思,表示 Unicode 屬性,用於 Unicode 正表達式的前綴。中括號內的“P”表示Unicode 字符集七個字符屬性之一:標點字符。 |
\< | 匹配詞(word)的開始(\<)和結束(\>)。例如正則表達式\<the\>能夠匹配字符串"for the wise"中的"the",但是不能匹配字符串"otherwise"中的"the"。註意:這個元字符不是所有的軟件都支持的。 |
將( 和 ) 之間的表達式定義為“組”(group),並且將匹配這個表達式的字符保存到一個臨時區域(一個正則表達式中最多可以保存9個),它們可以用 \1 到\9 的符號來引用。 | |
將兩個匹配條件進行邏輯“或”(Or)運算。例如正則表達式(him|her) 匹配"it belongs to him"和"it belongs to her",但是不能匹配"it belongs to them."。註意:這個元字符不是所有的軟件都支持的。 |
在linux中,通配符是由shell解釋的,而正則表達式則是由命令解釋的,下面我們就為大家介紹三種文本處理工具/命令:grep、sed、awk,它們三者均可以解釋正則。
二. grep
1. grep指令用於查找內容包含指定的範本樣式的文件,如果發現某文件的內容符合所指定的範本樣式,預設grep指令會把含有範本樣式的那一列顯示出來。若不指定任何文件名稱,或是所給予的文件名為"-",則grep指令會從標準輸入設備讀取數據。
語法
grep[-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<範本樣式>][-f<範本文件>][--help][範本樣式][文件或目錄...]
參數:
§ -a或--text 不要忽略二進制的數據。
§ -A<顯示列數>或--after-context=<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之後的內容。
§ -b或--byte-offset 在顯示符合範本樣式的那一列之前,標示出該列第一個字符的位編號。
§ -B<顯示列數>或--before-context=<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之前的內容。
§ -c或--count 計算符合範本樣式的列數。
§ -C<顯示列數>或--context=<顯示列數>或-<顯示列數> 除了顯示符合範本樣式的那一列之外,並顯示該列之前後的內容。
§ -d<進行動作>或--directories=<進行動作>當指定要查找的是目錄而非文件時,必須使用這項參數,否則grep指令將回報信息並停止動作。
§ -e<範本樣式>或--regexp=<範本樣式>指定字符串做為查找文件內容的範本樣式。
§ -E或--extended-regexp 將範本樣式為延伸的普通表示法來使用。
§ -f<範本文件>或--file=<範本文件> 指定範本文件,其內容含有一個或多個範本樣式,讓grep查找符合範本條件的文件內容,格式為每列一個範本樣式。
§ -F或--fixed-regexp 將範本樣式視為固定字符串的列表。
§ -G或--basic-regexp 將範本樣式視為普通的表示法來使用。
§ -h或--no-filename 在顯示符合範本樣式的那一列之前,不標示該列所屬的文件名稱。
§ -H或--with-filename 在顯示符合範本樣式的那一列之前,表示該列所屬的文件名稱。
§ -i或--ignore-case 忽略字符大小寫的差別。
§ -l或--file-with-matches 列出文件內容符合指定的範本樣式的文件名稱。
§ -L或--files-without-match 列出文件內容不符合指定的範本樣式的文件名稱。
§ -n或--line-number 在顯示符合範本樣式的那一列之前,標示出該列的列數編號。
§ -q或--quiet或--silent 不顯示任何信息。
§ -r或--recursive 此參數的效果和指定"-d recurse"參數相同。
§ -s或--no-messages 不顯示錯誤信息。
§ -v或--revert-match 反轉查找。
§ -V或--version 顯示版本信息。
§ -w或--word-regexp 只顯示全字符合的列。
§ -x或--line-regexp 只顯示全列符合的列。
§ -y 此參數的效果和指定"-i"參數相同。
§ --help 在線幫助。
實例1 查找當前目錄下包含”test“內容的所有文件
grep -r 匹配內容目錄,以遞歸的方式查找此目錄及子目錄下文件的內容
實例2 反向查找(-v)
查找文件中不包含”test“內容的行
2. egrep(擴展正則)
egrep執行效果與"grep-E"相似,使用的語法及參數可參照grep指令,與grep的不同點在於解讀字符串的方法。
egrep是用extended regular expression語法來解讀的,而grep則用basic regular expression 語法解讀,extended regular expression比basic regular expression的表達更規範。
語法
egrep [範本模式] [文件或目錄]
參數說明:
§ [範本模式] :查找的字符串規則。
§ [文件或目錄] :查找的目標文件或目錄。
實例1 查找當前目錄下包含“Apple”內容的文件,並顯示匹配的行
實例2 匹配用戶配置文件中以“字母+數字+字母”命名的用戶
三. sed
Linux sed命令是利用script來處理文本文件。
sed可依照script的指令,來處理、編輯文本文件。
Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。
語法
sed[-hnV][-e<script>][-f<script文件>][文本文件]
參數說明:
§ -e<script>或--expression=<script>以選項中指定的script來處理輸入的文本文件。
§ -f<script文件>或--file=<script文件>以選項中指定的script文件來處理輸入的文本文件。
§ -h或--help 顯示幫助。
§ -n或--quiet或--silent 僅顯示script處理後的結果。
§ -V或--version 顯示版本信息。
動作說明:
§ a :新增, a 的後面可以接字串,而這些字串會在新的一行出現(目前的下一行)~
§ c :取代, c 的後面可以接字串,這些字串可以取代 n1,n2 之間的行!
§ d :刪除,因為是刪除啊,所以 d 後面通常不接任何咚咚;
§ i :插入, i 的後面可以接字串,而這些字串會在新的一行出現(目前的上一行);
§ p :列印,亦即將某個選擇的數據印出。通常 p 會與參數 sed -n 一起運行~
§ s :取代,可以直接進行取代的工作哩!通常這個 s的動作可以搭配正規表示法!例如1,20s/old/new/g 就是啦!
實例1 在“log.txt"的第4行後添加一行
實例2 將文件中的第2,3行刪除並顯示出來(註意,實際上”log.txt“文件並沒有被修改)
實例3 將文件中的2,3行用”No 2-3 number“取代
實例4 匹配每一行是否有”is“,然後僅輸出匹配的行的內容
實例5 匹配包含”is“的行,並將其中的’a‘替換為’A‘
{}內為執行的命令,每條命令之間用”;“隔開
實例6 多點編輯,將文件中的第3行刪除,並將”test“替換為”TEST“
實例7 直接修改文件內容(危險動作)
sed 可以直接修改文件的內容,不必使用管道命令或數據流重導向!不過,由於這個動作會直接修改到原始的文件,所以請你千萬不要隨便拿系統配置來測試!
在文件最後一行插入一行內容”How are you today“,並保存
四. awk
之所以叫AWK是因為其取了三位創始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。
語法
§ awk [選項參數] ‘script‘ var=value file(s)
§ awk [選項參數] -f scriptfile var=valuefile(s)
選項參數說明:
§ -F fs or --field-separator fs
§ 指定輸入文件折分隔符,fs是一個字符串或者是一個正則表達式,如-F:。
§ -v var=value or --asign var=value
§ 賦值一個用戶定義變量。
§ -f scripfile or --file scriptfile
§ 從腳本文件中讀取awk命令。
§ -mf nnn and -mr nnn
§ 對nnn值設置內在限制,-mf選項限制分配給nnn的最大塊數目;-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能,在標準awk中不適用。
§ -W compact or --compat, -W traditional or --traditional
§ 在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣,所有的awk擴展都被忽略。
§ -W copyleft or --copyleft, -W copyright or --copyright
§ 打印簡短的版權信息。
§ -W help or --help, -W usage or --usage
§ 打印全部awk選項和每個選項的簡短說明。
§ -W lint or --lint
§ 打印不能向傳統unix平臺移植的結構的警告。
§ -W lint-old or --lint-old
§ 打印關於不能向傳統unix平臺移植的結構的警告。
§ -W posix
§ 打開兼容模式。但有以下限制,不識別:/x、函數關鍵字、func、換碼序列以及當fs是一個空格時,將新行作為一個域分隔符;操作符**和**=不能代替^和^=;fflush無效。
§ -W re-interval or --re-inerval
§ 允許間隔正則表達式的使用,參考(grep中的Posix字符類),如括號表達式[[:alpha:]]。
§ -W source program-text or --source program-text
§ 使用program-text作為源代碼,可與-f命令混用。
§ -W version or --version
§ 打印bug報告信息的版本。
運算符
運算符 | 描述 |
= += -= *= /= %= ^= **= | 賦值 |
?: | C條件表達式 |
邏輯或 | |
&& | 邏輯與 |
~ ~! | 匹配正則表達式和不匹配正則表達式 |
< <= > >= != == | 關系運算符 |
空格 | 連接 |
+ - | 加,減 |
* / & | 乘,除與求余 |
+ - ! | 一元加,減和邏輯非 |
^ *** | 求冪 |
++ -- | 增加或減少,作為前綴或後綴 |
$ | 字段引用 |
in | 數組成員 |
實例1
實例2
實例3
實例4
內建變量
變量 | 描述 |
\$n | 當前記錄的第n個字段,字段間由FS分隔 |
\$0 | 完整的輸入記錄 |
ARGC | 命令行參數的數目 |
ARGIND | 命令行中當前文件的位置(從0開始算) |
ARGV | 包含命令行參數的數組 |
CONVFMT | 數字轉換格式(默認值為%.6g)ENVIRON環境變量關聯數組 |
ERRNO | 最後一個系統錯誤的描述 |
FIELDWIDTHS | 字段寬度列表(用空格鍵分隔) |
FILENAME | 當前文件名 |
FNR | 同NR,但相對於當前文件 |
FS | 字段分隔符(默認是任何空格) |
IGNORECASE | 如果為真,則進行忽略大小寫的匹配 |
NF | 當前記錄中的字段數 |
NR | 當前記錄數 |
OFMT | 數字的輸出格式(默認值是%.6g) |
OFS | 輸出字段分隔符(默認值是一個空格) |
ORS | 輸出記錄分隔符(默認值是一個換行符) |
RLENGTH | 由match函數所匹配的字符串的長度 |
RS | 記錄分隔符(默認是一個換行符) |
RSTART | 由match函數所匹配的字符串的第一個位置 |
SUBSEP | 數組下標分隔符(默認值是/034) |
實例5
實例6 awk腳本
關於awk腳本,我們需要註意兩個關鍵詞BEGIN和END。
BEGIN{ 這裏面放的是執行前的語句 }
END {這裏面放的是處理完所有的行後要執行的語句 }
{這裏面放的是處理每一行時要執行的語句}
假設有這麽一個文件(學生成績表):
我們的awk腳本如下:
我們來看一下執行結果:
實例7 從文件中找出長度大於18的行
自動化運維第一天、基礎自動化工具----正則表達式