玩轉正則表示式

正則表示式相關知識

在編寫處理字串的程式或網頁時，經常會有查詢符合某些複雜規則的字串的需要，正則表示式就是用於描述這些規則的工具，換句話說正則表示式是一種工具，它定義了字串的匹配模式（如何檢查一個字串是否有跟某種模式匹配的部分或者從一個字串中將與模式匹配的部分提取出來或者替換掉）。如果你在Windows作業系統中使用過檔案查詢並且在指定檔名時使用過萬用字元（*和?），那麼正則表示式也是與之類似的用來進行文字匹配的工具，只不過比起萬用字元正則表示式更強大，它能更精確地描述你的需求（當然你付出的代價是書寫一個正則表示式比打出一個萬用字元要複雜得多，要知道任何給你帶來好處的東西都是有代價的，就如同學習一門程式語言一樣），比如你可以編寫一個正則表示式，用來查詢所有以0開頭，後面跟著2-3個數字，然後是一個連字號“-”，最後是7或8位數字的字串（像028-12345678或0813-7654321），這不就是國內的座機號碼嗎。最初計算機是為了做數學運算而誕生的，處理的資訊基本上都是數值，而今天我們在日常工作中處理的資訊基本上都是文字資料，我們希望計算機能夠識別和處理符合某些模式的文字，正則表示式就顯得非常重要了。今天幾乎所有的程式語言都提供了對正則表示式操作的支援，Python通過標準庫中的re模組來支援正則表示式操作。

我們可以考慮下面一個問題：我們從某個地方（可能是一個文字檔案，也可能是網路上的一則新聞）獲得了一個字串，希望在字串中找出手機號和座機號。當然我們可以設定手機號是11位的數字（注意並不是隨機的11位數字，因為你沒有見過“25012345678”這樣的手機號吧）而座機號跟上一段中描述的模式相同，如果不使用正則表示式要完成這個任務就會很麻煩。

關於正則表示式的相關知識，大家可以閱讀一篇非常有名的部落格叫《正則表示式30分鐘入門教程》，讀完這篇文章後你就可以看懂下面的表格，這是我們對正則表示式中的一些基本符號進行的扼要總結。

說明：如果需要匹配的字元是正則表示式中的特殊字元，那麼可以使用\進行轉義處理，例如想匹配小數點可以寫成\.就可以了，因為直接寫.會匹配任意字元；同理，想匹配圓括號必須寫成\(和\)，否則圓括號被視為正則表示式中的分組。

Python對正則表示式的支援

Python提供了re模組來支援正則表示式相關操作，下面是re模組中的核心函式。

說明：上面提到的re模組中的這些函式，實際開發中也可以用正則表示式物件的方法替代對這些函式的使用，如果一個正則表示式需要重複的使用，那麼先通過compile函式編譯正則表示式並創建出正則表示式物件無疑是更為明智的選擇。

下面我們通過一系列的例子來告訴大家在Python中如何使用正則表示式。

例子1：驗證輸入使用者名稱和QQ號是否有效並給出對應的提示資訊。

"""

驗證輸入使用者名稱和QQ號是否有效並給出對應的提示資訊

要求：
使用者名稱必須由字母、數字或下劃線構成且長度在6~20個字元之間
QQ號是5~12的數字且首位不能為0

"""

import re


def main():
    username = input('請輸入使用者名稱: ')
    qq = input('請輸入QQ號: ')
    # match函式的第一個引數是正則表示式字串或正則表示式物件
    # 第二個引數是要跟正則表示式做匹配的字串物件
    m1 = re.match(r'^[0-9a-zA-Z_]{6,20}$', username)
    if not m1:
        print('請輸入有效的使用者名稱.')
    m2 = re.match(r'^[1-9]\d{4,11}$', qq)
    if not m2:
        print('請輸入有效的QQ號.')
    if m1 and m2:
        print('你輸入的資訊是有效的!')


if __name__ == '__main__':
    main()

提示：上面在書寫正則表示式時使用了“原始字串”的寫法（在字串前面加上了r），所謂“原始字串”就是字串中的每個字元都是它原始的意義，說得更直接一點就是字串中沒有所謂的轉義字元啦。因為正則表示式中有很多元字元和需要進行轉義的地方，如果不使用原始字串就需要將反斜槓寫作\\，例如表示數字的\d得書寫成\\d，這樣不僅寫起來不方便，閱讀的時候也會很吃力。

例子2：從一段文字中提取出國內手機號碼。

下面這張圖是截止到2017年底，國內三家運營商推出的手機號段。

import re


def main():
    # 建立正則表示式物件 使用了前瞻和回顧來保證手機號前後不應該出現數字
    pattern = re.compile(r'(?<=\D)1[34578]\d{9}(?=\D)')
    sentence = '''
    重要的事情說8130123456789遍，我的手機號是13512346789這個靚號，
    不是15600998765，也是110或119，王大錘的手機號才是15600998765。
    '''
    # 查詢所有匹配並儲存到一個列表中
    mylist = re.findall(pattern, sentence)
    print(mylist)
    print('--------華麗的分隔線--------')
    # 通過迭代器取出匹配物件並獲得匹配的內容
    for temp in pattern.finditer(sentence):
        print(temp.group())
    print('--------華麗的分隔線--------')
    # 通過search函式指定搜尋位置找出所有匹配
    m = pattern.search(sentence)
    while m:
        print(m.group())
        m = pattern.search(sentence, m.end())


if __name__ == '__main__':
    main()

說明：上面匹配國內手機號的正則表示式並不夠好，因為像14開頭的號碼只有145或147，而上面的正則表示式並沒有考慮這種情況，要匹配國內手機號，更好的正則表示式的寫法是：(?<=\D)(1[38]\d{9}|14[57]\d{8}|15[0-35-9]\d{8}|17[678]\d{8})(?=\D)，國內最近好像有19和16開頭的手機號了，但是這個暫時不在我們考慮之列。

例子3：替換字串中的不良內容

import re


def main():
    sentence = '你丫是傻叉嗎? 我操你大爺的. Fuck you.'
    purified = re.sub('[操肏艹草曹]|fuck|shit|傻[比屄逼叉缺吊屌]|煞筆',
                      '*', sentence, flags=re.IGNORECASE)
    print(purified)  # 你丫是*嗎? 我*你大爺的. * you.


if __name__ == '__main__':
    main()

說明：re模組的正則表示式相關函式中都有一個flags引數，它代表了正則表示式的匹配標記，可以通過該標記來指定匹配時是否忽略大小寫、是否進行多行匹配、是否顯示除錯資訊等。如果需要為flags引數指定多個值，可以使用按位或運算子進行疊加，如flags=re.I | re.M。

例子4：拆分長字串

import re


def main():
    poem = '窗前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。'
    sentence_list = re.split(r'[，。, .]', poem)
    while '' in sentence_list:
        sentence_list.remove('')
    print(sentence_list)  # ['窗前明月光', '疑是地上霜', '舉頭望明月', '低頭思故鄉']


if __name__ == '__main__':
    main()

後話

如果要從事爬蟲類應用的開發，那麼正則表示式一定是一個非常好的助手，因為它可以幫助我們迅速的從網頁程式碼中發現某種我們指定的模式並提取出我們需要的資訊，當然對於初學者來收，要編寫一個正確的適當的正則表示式可能並不是一件容易的事情（當然有些常用的正則表示式可以直接在網上找找），所以實際開發爬蟲應用的時候，有很多人會選擇Beautiful Soup或Lxml來進行匹配和資訊的提取，前者簡單方便但是效能較差，後者既好用效能也好，但是安裝稍嫌麻煩，這些內容我們會在後期的爬蟲專題中為大家介紹。