1. 程式人生 > >Shell正則表示式 & Grep正則表示式 & shell字串處理

Shell正則表示式 & Grep正則表示式 & shell字串處理

摘自:https://www.cnblogs.com/hoji-real/articles/2311214.html

 

Shell正則表示式

一個正則表示式就是由普通字元(例如字元 a 到 z)以及特殊字元(稱為元字元)組成的文字模式。該模式描述在查詢文字主體時待匹配的一個或多個字串。正則表示式作為一個模板,將某個字元模式與所搜尋的字串進行匹配。


將下一個字元標記為一個特殊字元、或一個原義字元、或一個 後向引用、或一個八進位制轉義符。例如,'n' 匹配字元 "n"。'/n' 匹配一個換行符。序列 '//' 匹配 "/" 而 "/(" 則匹配 "("。


匹配輸入字串的開始位置。


匹配輸入字串的結束位置。


匹配前面的子表示式零次或多次。例如,zo* 能匹配 "z" 以及 "zoo"。 * 等價於{0,}。


匹配前面的子表示式一次或多次。例如,'zo+' 能匹配 "zo" 以及 "zoo",但不能匹配 "z"。+ 等價於 {1,}。


匹配前面的子表示式零次或一次。例如,"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等價於 {0,1}。

{n} 
n 是一個非負整數。匹配確定的 n 次。例如,'o{2}' 不能匹配 "Bob" 中的 'o',但是能匹配 "food" 中的兩個 o。

{n,} 
n 是一個非負整數。至少匹配n 次。例如,'o{2,}' 不能匹配 "Bob" 中的 'o',但能匹配 "foooood" 中的所有 o。'o{1,}' 等價於 'o+'。'o{0,}' 則等價於 'o*'。

{n,m} 
m 和 n 均為非負整數,其中n <= m。最少匹配 n 次且最多匹配 m 次。 "o{1,3}" 將匹配 "fooooood" 中的前三個 o。'o{0,1}' 等價於 'o?'。請注意在逗號和兩個數之間不能有空格。


當該字元緊跟在任何一個其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 後面時,匹配模式是非貪婪的。非貪婪模式儘可能少的匹配所搜尋的字串,而預設的貪婪模式則儘可能多的匹配所搜尋的字串。例如,對於字串 "oooo",'o+?' 將匹配單個 "o",而 'o+' 將匹配所有 'o'。


匹配除 "/n" 之外的任何單個字元。要匹配包括 '/n' 在內的任何字元,請使用象 '[./n]' 的模式。

(pattern) 
匹配pattern 並獲取這一匹配。所獲取的匹配可以從產生的 Matches 集合得到,在VBScript 中使用 SubMatches 集合,在Visual Basic Scripting Edition 中則使用 $0…$9 屬性。要匹配圓括號字元,請使用 '/(' 或 '/)'。

(?:pattern) 
匹配 pattern 但不獲取匹配結果,也就是說這是一個非獲取匹配,不進行儲存供以後使用。這在使用 "或" 字元 (|) 來組合一個模式的各個部分是很有用。例如, 'industr(?:y|ies) 就是一個比 'industry|industries' 更簡略的表示式。

(?=pattern) 
正向預查,在任何匹配 pattern 的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如, 'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ,但不能匹配 "Windows 3.1" 中的 "Windows"。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始。

(?!pattern) 
負向預查,在任何不匹配Negative lookahead matches the search string at any point where a string not matching pattern 的字串開始處匹配查詢字串。這是一個非獲取匹配,也就是說,該匹配不需要獲取供以後使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows",但不能匹配 "Windows 2000" 中的 "Windows"。預查不消耗字元,也就是說,在一個匹配發生後,在最後一次匹配之後立即開始下一次匹配的搜尋,而不是從包含預查的字元之後開始。

x|y 
匹配 x 或 y。例如,'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 則匹配 "zood" 或 "food"。

[xyz] 
字元集合。匹配所包含的任意一個字元。例如, '[abc]' 可以匹配 "plain" 中的 'a'。

[^xyz] 
負值字元集合。匹配未包含的任意字元。例如, '[^abc]' 可以匹配 "plain" 中的'p'。

[a-z] 
字元範圍。匹配指定範圍內的任意字元。例如,'[a-z]' 可以匹配 'a' 到 'z' 範圍內的任意小寫字母字元。

[^a-z] 
負值字元範圍。匹配任何不在指定範圍內的任意字元。例如,'[^a-z]' 可以匹配任何不在 'a' 到 'z' 範圍內的任意字元。

/b 
匹配一個單詞邊界,也就是指單詞和空格間的位置。例如, 'er/b' 可以匹配"never" 中的 'er',但不能匹配 "verb" 中的 'er'。

/B 
匹配非單詞邊界。'er/B' 能匹配 "verb" 中的 'er',但不能匹配 "never" 中的 'er'。

/cx 
匹配由x指明的控制字元。例如, /cM 匹配一個 Control-M 或回車符。 x 的值必須為 A-Z 或 a-z 之一。否則,將 c 視為一個原義的 'c' 字元。

/d 
匹配一個數字字元。等價於 [0-9]。

/D 
匹配一個非數字字元。等價於 [^0-9]。

/f 
匹配一個換頁符。等價於 /x0c 和 /cL。

/n 
匹配一個換行符。等價於 /x0a 和 /cJ。

/r 
匹配一個回車符。等價於 /x0d 和 /cM。

/s 
匹配任何空白字元,包括空格、製表符、換頁符等等。等價於 [ /f/n/r/t/v]。

/S 
匹配任何非空白字元。等價於 [^ /f/n/r/t/v]。

/t 
匹配一個製表符。等價於 /x09 和 /cI。

/v 
匹配一個垂直製表符。等價於 /x0b 和 /cK。

/w 
匹配包括下劃線的任何單詞字元。等價於'[A-Za-z0-9_]'。

/W 
匹配任何非單詞字元。等價於 '[^A-Za-z0-9_]'。

/xn 
匹配 n,其中 n 為十六進位制轉義值。十六進位制轉義值必須為確定的兩個數字長。例如, '/x41' 匹配 "A"。'/x041' 則等價於 '/x04' & "1"。正則表示式中可以使用 ASCII 編碼。.

/num 
匹配 num,其中 num 是一個正整數。對所獲取的匹配的引用。例如,'(.)/1' 匹配兩個連續的相同字元。

/n 
標識一個八進位制轉義值或一個後向引用。如果 /n 之前至少 n 個獲取的子表示式,則 n 為後向引用。否則,如果 n 為八進位制數字 (0-7),則 n 為一個八進位制轉義值。

/nm 
標識一個八進位制轉義值或一個後向引用。如果 /nm 之前至少有is preceded by at least nm 個獲取得子表示式,則 nm 為後向引用。如果 /nm 之前至少有 n 個獲取,則 n 為一個後跟文字 m 的後向引用。如果前面的條件都不滿足,若 n 和 m 均為八進位制數字 (0-7),則 /nm 將匹配八進位制轉義值 nm。

/nml 
如果 n 為八進位制數字 (0-3),且 m 和 l 均為八進位制數字 (0-7),則匹配八進位制轉義值 nml。

/un 
匹配 n,其中 n 是一個用四個十六進位制數字表示的 Unicode 字元。例如, /u00A9 匹配版權符號 (?)。

Grep正則表示式

要用好grep這個工具,其實就是要寫好正則表示式,所以這裡不對grep的所有功能進行例項講解,只列幾個例子,講解一個正則表示式的寫法。

$ ls -l | grep '^a' 
通過管道過濾ls -l輸出的內容,只顯示以a開頭的行。

$ grep 'test' d* 
顯示所有以d開頭的檔案中包含test的行。

$ grep 'test' aa bb cc 
顯示在aa,bb,cc檔案中匹配test的行。

$ grep '[a-z]/{5/}' aa 
顯示所有包含每個字串至少有5個連續小寫字元的字串的行。

$ grep 'w/(es/)t.*/1' aa 
如果west被匹配,則es就被儲存到記憶體中,並標記為1,然後搜尋任意個字元(.*),這些字元後面緊跟著另外一個es(/1),找到就顯示該行。如果用egrep或grep -E,就不用"/"號進行轉義,直接寫成'w(es)t.*/1'就可以了。

grep正則表示式元字符集(基本集)

錨定行的開始 如:'^grep'匹配所有以grep開頭的行。


錨定行的結束 如:'grep$'匹配所有以grep結尾的行。


匹配一個非換行符的字元 如:'gr.p'匹配gr後接一個任意字元,然後是p。


匹配零個或多個先前字元 如:'*grep'匹配所有一個或多個空格後緊跟grep的行。 .*一起用代表任意字元。

[] 
匹配一個指定範圍內的字元,如'[Gg]rep'匹配Grep和grep。

[^] 
匹配一個不在指定範圍內的字元,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。

/(../) 
標記匹配字元,如'/(love/)',love被標記為1。

/< 
錨定單詞的開始,如:'/
/> 
錨定單詞的結束,如'grep/>'匹配包含以grep結尾的單詞的行。

x/{m/} 
重複字元x,m次,如:'0/{5/}'匹配包含5個o的行。

x/{m,/} 
重複字元x,至少m次,如:'o/{5,/}'匹配至少有5個o的行。

x/{m,n/} 
重複字元x,至少m次,不多於n次,如:'o/{5,10/}'匹配5--10個o的行。

/w 
匹配文字和數字字元,也就是[A-Za-z0-9],如:'G/w*p'匹配以G後跟零個或多個文字或數字字元,然後是p。

/W 
/w的反置形式,匹配一個或多個非單詞字元,如點號句號等。

/b 
單詞鎖定符,如: '/bgrepb/'只匹配grep。 

 

Shell字串處理

  1. 構造字串
    直接構造
    STR_ZERO=hello
    STR_FIRST="i am a string"
    STR_SECOND='success'

    重複多次
    #repeat the first parm($1) by $2 times
    strRepeat()
    {
    local x=$2
    if [ "$x" == "" ]; then
    x=0
    fi

    local STR_TEMP=""
    while [ $x -ge 1 ];
    do
    STR_TEMP=`printf "%s%s" "$STR_TEMP" "$1"`
    x=`expr $x - 1`
    done
    echo $STR_TEMP
    }

    舉例:
    STR_REPEAT=`strRepeat "$USER_NAME" 3`
    echo "repeat = $STR_REPEAT"
     
  2. 賦值與拷貝
    直接賦值
    與構造字串一樣
    USER_NAME=terry

    從變數賦值
    ALIASE_NAME=$USER_NAME

     
  3. 聯接
    直接聯接兩個字串
    STR_TEMP=`printf "%s%s" "$STR_ZERO" "$USER_NAME"`
    使用printf可以進行更復雜的聯接
     
  4. 求長
    求字元數(char)
    COUNT_CHAR=`echo "$STR_FIRST" | wc -m`
    echo $COUNT_CHAR

    求位元組數(byte)
    COUNT_BYTE=`echo "$STR_FIRST" | wc -c`
    echo $COUNT_BYTE

    求字數(word)
    COUNT_WORD=`echo "$STR_FIRST" | wc -w`
    echo $COUNT_WORD
     
  5. 比較
    相等比較
    str1 = str2

    不等比較
    str1 != str2

    舉例:
    if [ "$USER_NAME" = "terry" ]; then
    echo "I am terry"
    fi

    小於比較
    # return 0 if the two string is equal, return 1 if $1 < $2, else 2 strCompare() { local x=0 if [ "$1" != "$2" ]; then x=2 local TEMP=`printf "%s/n%s" "$1" "$2"` local TEMP2=`(echo "$1"; echo "$2") | sort` if [ "$TEMP" = "$TEMP2" ]; then x=1 fi fi echo $x }
  6. 測試
    判空
    -z str

    判非空
    -n str

    是否為數字
    # return 0 if the string is num, otherwise 1
    strIsNum()
    {
    local RET=1
    if [ -n "$1" ]; then
    local STR_TEMP=`echo "$1" | sed 's/[0-9]//g'`
    if [ -z "$STR_TEMP" ]; then
    RET=0 
    fi
    fi
    echo $RET
    }

    舉例:
    if [ -n "$USER_NAME" ]; then
    echo "my name is NOT empty"
    fi

    echo `strIsNum "9980"`

     
  7. 分割
    以符號+為準,將字元分割為左右兩部分
    使用sed
    舉例:
    命令 date --rfc-3339 seconds 的輸出為
    2007-04-14 15:09:47+08:00
    取其+左邊的部分
    date --rfc-3339 seconds | sed 's/+[0-9][0-9]:[0-9][0-9]//g'
    輸出為
    2007-04-14 15:09:47
    取+右邊的部分
    date --rfc-3339 seconds | sed 's/.*+//g'
    輸出為
    08:00

    以空格為分割符的字串分割
    使用awk
    舉例:
    STR_FRUIT="Banana 0.89 100"
    取第3欄位
    echo $STR_FRUIT | awk '{ print $3; }'
     
  8. 子字串
    字串1是否為字串2的子字串
    # return 0 is $1 is substring of $2, otherwise 1
    strIsSubstring()
    {
    local x=1
    case "$2" in
    *$1*) x=0;;
    esac
    echo $x
    }