Python爬蟲(十)_正則表示式
本篇將介紹python正則表示式，更多內容請參考：【python正則表示式】
什麼是正則表示式
正則表示式，又稱規則表示式，通常被用來檢索、替換那些符合某個模式（規則）的文字。
正則表示式是對字串操作的一種邏輯公式，就是用事先定義好的一些特定字元、及這些特定字元的組合，組成一個“規則字串”，這個“規則字串”用來表達對字串的一些過濾邏輯。
給定一個正則表示式和另一個字串，我們可以達到如下的目的：
- 給定的字串是否符合正則表示式的過濾邏輯(“匹配”)
- 通過正則表示式，從文字字串中獲取到我們想要的特定部分（“過濾”）
正則表示式匹配規則
Python的re模組
在python中，我們可以使用內建的re模組來使用正則表示式。
有一點需要特別注意的是，正則表示式使用對特殊字元進行轉義，所以如果我們要使用原始字串，只需要一個r字首，示例：
r'chuanzhiboke\t\.\tpython're模組的一般使用步驟如下：
- 使用
compile()函式將正則表示式的字串形式編譯為一個Pattern物件
- 通過
Pattern物件提供的一系列方法將文字進行匹配查詢，獲得匹配結果(一個Match物件)
- 最後使用
Match物件提供的屬性和方法獲得資訊，根據需要進行其他的操作。
compile物件
compile函式用於編譯正則表示式，生成一個Pattern物件，它的一般使用形式如下：
import re
#將正則表示式編譯為Pattern物件
pattern = re.compile(r'\d+')在上面，我們已將一個正則表示式編譯成Pattern物件，接下來，我們就可以利用pattern的一系列方法對文字進行匹配查找了。
Pattern物件的一些常用方法主要有：
- match物件：從起始位置開始查詢，一次匹配。
- search物件：從任何位置開始查詢，一次匹配。
- findall()物件：全部匹配，返回列表。
- finditer()物件：全部匹配，返回迭代器。
- spilt()物件：分割字串，返回列表
- sub()物件：替換
match 方法
match方法用於查詢字串的頭部(也可以指定起始位置)，它是一次匹配，只要找到了一個匹配的結果返回，而不是查詢所有匹配的結果，它的一般使用形式如下：
match(string[, pos[, endpos]])其中，string是待匹配的字串，pos和endpos是可選引數，指定字串的起始和終點位置，預設值分別是0和len(字串長度)。因此，當你不指定pos和endpos時，match方法預設匹配字串的頭部。
當匹配成功時，返回一個Match物件，如果沒有匹配上，則返回None。
>>>import re
>>>pattern = re.compile(r'\d+') #用於匹配至少一個數字
>>>m = pattern.match('one12twothree34four') #查詢頭部，沒有匹配 >>>print(m) #如果沒有匹配上，就什麼也不輸出 >>>m = pattern.match('one12twothree34four', 2, 10) #從'e'的位置開始匹配，沒有匹配到 >>>print(m) >>>m = pattern.match('one12twothree34four', 3, 10) #從'1' 的位置開始匹配，正好匹配上 >>>print(m) <_sre.SRE_Match object at 0x10a42aac0> >>>m.group(0) #可忽略0 '12' >>>m.start(0) #可忽略0 3 >>>m.end(0) #可忽略0 5 >>>m.span(0) #可忽略0 (3, 5)在上面，當匹配成功時返回一個Match物件，其中：
- group([group1,...])方法用於獲得一個或多個分組匹配的字串，當要獲得整個匹配字串的子串時，可直接使用group()或group(0);
- start([group])方法用於獲取分組匹配的子串在整個字串中的起始位置（子串第一個字元的索引）,引數預設值為0；
- end([group])方法用於獲取分組匹配的子串在整個字串中的結束位置（子串最後一個字元的索引+1）,引數預設值是0
- span([group])方法返回(start[group], end(group))
>>>import re
>>>pattern = re.compile(r'([a-z]+) （[a-z]+)', re.I) #表示忽略大小寫
>>>m = pattern.match('hello world wide web')
>>>print(m) #匹配成功，返回一個Match物件 <_sre.SRE_Match object at 0x10bea83e8> >>>m.group(0) #返回匹配成功的整個子串 'Hello World' >>>m.span(0) #返回匹配成功的整個子串 (0, 11) >>>m.group(1) #返回第一個分組匹配成功的子串 'Hello' >>>m.span(1) #返回第一個分組匹配成功 (0, 5) >>>m.group(2) #返回第2個分組匹配成功的子串 'World' >>>m.span(2) #返回第2個分組匹配成功的子串的位置 (6, 11) >>>m.groups() #等價於(m.group(1), m.group(2), ...) ('Hello', 'World') >>>m.group(3) #不存在第3個分組 Traceback (most recent call last): File "<stdin>", line 1, in <module> IndexError: no such groupsearch方法
search方法用於查詢字串的任何位置，它也是一次匹配，只要找到了一個匹配的結果就返回，而不是查詢所有匹配的結果，它的一般使用形式如下：
search[string[, pos[, endpos]]]其中，string是待匹配的字串，pos和endpos是可選引數，指定字串的起始和終點位置，預設值分別是0和len(字串長度)。
當匹配成功時，返回一個Match物件，如果沒有匹配上，則返回None。
讓我們看看例子：
>>>import re
>>>pattern = re.compile('\d+')
>>>m = pattern.search('one12twothree34four') #這裡如果使用match方法則不匹配
>>>m
<_sre.SRE_Match object at 0x10cc03ac0> >>>m.group() '12' >>>m = pattern.search('one12twothree34four', 10, 30) #指定字串區間 >>>m <_sre.SRE_Match object at 0x10cc03b28> >>>m.group() '34' >>>m.span() (13, 15)在看一個例子：
# coding:utf-8
import re
#將正則表示式編譯成Pattern物件
pattern = re.compile(r'\d+')
#使用search()方法查詢匹配的字串，不存在匹配的子串時將不返回 m = pattern.search('hello 123456 789') if m: #使用Match獲得分組資訊 print('matching string：',m.group()) #起始位置和結束位置 print('position: ',m.span())執行結果：
matching string: 123456
position:(6,12)findall 方法
上面的match和search方法都是一次匹配，只要找到了一個匹配的結果就返回。然而，在大多數時候，我們需要搜尋整個字串，獲得所有匹配的結果。
findall方法的使用形式如下：
findall(string[, pos[, endpos]])其中，string是待匹配的字串，pos和endpos是可選引數，指定字串的起始和終點位置分別是0和len(字串長度)。
findall是以列表形式返回全部能匹配到的子串，如果沒有匹配，則返回一個空列表。
import re
pattern = re.compile(r'\d+') #查詢數字
result1 = pattern.findall('hello 123456 789')
result2 = pattern.findall('one1two2three3four4', 0, 10) print(result1) print(2)執行結果如下：
['123456', '789']
['1', '2']再來看一個例子：
import re
#re模組提供一個方法叫compile提供，提供我們輸入一個匹配的規則
#然後返回一個pattern例項，我們根據這個規則去匹配字串
pattern = re.compile(r'd+\.\d*')
#通過pattern.findall()方法能夠全部匹配到我們得到的字串 result = pattern.findall("123.141593, 'bigcat', 232312, 3.15") #findall以列表形式 返回全部能匹配到的子串給result for item in result: print(item)執行結果：
123.141593
3.15finditer方法
finditer方法的行為跟findall的行為類似，也是搜尋整個字串，獲得所有匹配的結果。但它返回一個順序訪問每一個匹配結果(Match物件)的迭代器。
#coding:utf-8
import re
pattern = re.compile(r'\d+')
result1 = pattern.finditer('hello 123456 789')
result2 = pattern.finditer('one1two2three3four4', 0, 10) print(result1) print(result2) print('result1....') for m1 in result1: print("matching string:{} position:{}".format(m1.group(), m1.span())) print('result2....') for m2 in result2: print("matching string:{} position:{}".format(m2.group(), m2.span()))執行結果：
<type 'callable-iterator'>
<type 'callable-iterator'>
result1.
matching string: 123456, position: (6, 12) matching string: 789, position: (13, 16) result2 matching string: 1, position: (3, 4) matching string: 2, position: (7, 8)split 方法
split方法按照能夠匹配的子串將字串分割後返回列表，它的使用形式如下：
split(string[, maxsplit])其中，maxsplit用於指導最大分割次數，不知道靜全部分割。
看看例子：
import re
p = re.compile(r'[\s\,;]+')
print(p.split('a,b;;c d'))執行結果：
['a', 'b', 'c', 'd']sub方法
sub方法用於替換。它的使用形式如下：
sub(repl, string[, count])其中，repl可以是字串也可以是一函式：
- 如果repl是字串，則會使用repl去替換字串每一個匹配的子串，並返回替換後的字串，repl還可以使用id的形式來引用過分組，但不能使用編號0；
- 如果repl是函式，這個方法應當只接受一個引數(Match物件)，並返回一個字串用於替換(返回的字串中不能再引用分組)。
- count用於指導最多替換次數，不指定時全部替換。
看看例子：
import re
p = re.compile(r'(\w+) (\w+)') #\w=[A-Za-z0-9]
s = 'hello 123, hello 456'
print(p.sub(r'hello world', s)) #使用'hello world'替換'hello 123'和'hello 456' print(p.sub(r'\2 \1', s)) def func(m): return 'hi' + ' ' + m.group(2) print(p.sub(func, s)) print(p.sub(func, s, 1))執行結果：
hello world, hello world
123 hello, 456 hello
hi 123, hi 456
hi 123, hello 456匹配中文
在某些情況下，我們想要匹配文字中的漢字，有一點需要注意的是，中文的unicode編碼範圍主要在[u4e00-u9fa5]，這裡說主要是因為這個範圍並不完整，比如沒有包括全形(中文)標點，不過，在大部分情況下，應該是夠用的。
假設現在想把字串title=u'你好，hello，世界'中的中文提取出來，可以這麼做：
import re
title = u'你好，hello，世界'
pattern = re.compile(u'[\u4e00-\u9fa5]+')
result = pattern.findall(title)
print(result)注意到，我們在正則表示式前面加上了字首u，u表示unicode字串。
執行結果：
['你好', '世界']注意：貪婪模式與非貪婪模式
- 貪婪模式：在整個表示式匹配成功的前提下，儘可能多的匹配(*);
- 非貪婪模式：在整個表示式匹配成功的前提下，儘可能少的匹配(?);
- Python裡數量詞預設是貪婪的。
例項一：源字串：abbbc
-
使用貪婪的數量詞的正則表示式
ab+,匹配結果：abbb。*決定了儘可能多匹配b，所以a後面所有的b都出現了。
-
使用非貪婪的數量詞的正則表示式
ab*?，匹配結果：a。即使前面有
*,但是?決定了儘可能少匹配b，所以沒有b。
例項二：源字串：aa<div>test1</div>bb<div>test2</div>cc
- 使用貪婪的數量詞的正則表示式：
<div>.*</div>
-
匹配結果：
<div>test1</div>bb<div>test2</div>這裡採用的是貪婪模式。在匹配到第一個“
</div>”時已經可以使整個表示式匹配成功，但是由於採用的是貪婪模式，所以仍然要向右嘗試匹配，檢視是否還有更長的可以成功匹配的子串。匹配到第二個“</div>”後，向右再沒有可以成功匹配的子串，匹配結束，匹配結果為“<div>test1</div>bb<div>test2</div>” - 使用非貪婪的數量詞的正則表示式：
<div>.*?</div> -
匹配結果：
<div>test1</div>正則表示式二採用的是非貪婪模式，在匹配到第一個“
</div>”時使整個表示式匹配成功，由於採用的是非貪婪模式，所以結束匹配，不再向右嘗試，匹配結果為“<div>test1</div>”。