常用模塊3(和之前的1,2一起食用效果更佳)
本節主要內容
1. 正則表達式
2. re模塊的使?
3. ?堆練習
一、正則表達式
?先, 我們在??上進?註冊或者登陸的時候經常能看到?些格式上的錯誤提?. 比如:
你在註冊百度賬號的時候https://passport.baidu.com/v2/?reg®Type=1&tpl=wk 輸入?戶
名隨意的輸入系統會提?你. 你的賬號過?或者不允許使?中?等等操作. 那這種操作如果使
?我們現有的知識點是可以完成的. 但是完成的效果並不好. 寫起來也不容易. 尤其是對郵箱
的匹配. 電話號碼的匹配. 那正則表達式就是專?來處理類似問題的?種表達式. 英?全
稱: Regular Expression. 簡稱 regex或者re. 但你要知道我們在使?python的re模塊之前. 我
們?先要對正則有?定的了解和認識. 就像我們使?time模塊之前. 我們已經對時間有了?定
的認識.
正則表達式是對字符串操作的?種邏輯公式. 我們?般使?正則表達式對字符串進?匹
配和過濾. 使?正則的優缺點:
優點: 靈活, 功能性強, 邏輯性強.
缺點: 上?難. ?旦上?, 會愛上這個東?
?具: 各??本編輯器?般都有正則匹配功能. 我們也可以去http://tool.chinaz.com/regex/進?在線測試.
正則表達式由普通字符和元字符組成. 普通字符包含??寫字?, 數字. 在匹配普通字符
的時候我們直接寫就可以了. 比如"abc" 匹配的就是"abc". 我們如果?python也可以實現相
同的效果. 所以普通字符沒什麽好說的. 重點在元字符上.
元字符: 元字符才是正則表達式的靈魂. 元字符中的內容太多了, 在這?我們只介紹?些
常?的.
1. 字符組
字符組很簡單?[]括起來. 在[]中出現的內容會被匹配. 例如:[abc] 匹配a或b或c
如果字符組中的內容過多還可以使?- , 例如: [a-z] 匹配a到z之間的所有字? [0-9]
匹配所有阿拉伯數字
思考: [a-zA-Z0-9]匹配的是什麽?
2. 簡單元字符
基本的元字符. 這個東??上?搜??堆. 但是常?的就那麽?個:
. 匹配除換?符以外的任意字符 \w 匹配字?或數字或下劃線 \s 匹配任意的空?符 \d 匹配數字 \n 匹配?個換?符 \t 匹配?個制表符 \b 匹配?個單詞的結尾 ^ 匹配字符串的開始 $ 匹配字符串的結尾 \W 匹配?字?或數字或下劃線 \D 匹配?數字 \S 匹配?空?符 a|b 匹配字符a或字符b () 匹配括號內的表達式,也表示?個組 [...] 匹配字符組中的字符 [^...] 匹配除了字符組中字符的所有字符
3.量詞
我們到?前匹配的所有內容都是單??字符號. 那如何?次性匹配很多個字符呢,
我們要?到量詞。
* 重復零次或更多次 + 重復?次或更多次 ? 重復零次或?次 {n} 重復n次 {n,} 重復n次或更多次 {n,m} 重復n到m次
4.惰性匹配和貪婪匹配
在量詞中的*, +,{} 都屬於貪婪匹配. 就是盡可能多的匹配到結果.
str: 麻花藤昨天讓英雄聯盟關服了 reg: 麻花藤.* 此時匹配的是整句話
在使?.*後?如果加了? 則是盡可能的少匹配. 表?惰性匹配
str: 麻花藤昨天讓英雄聯盟關服了 reg: 麻花藤.*? 此時匹配的是 麻花藤 str: <div>胡辣湯</div> reg: <.*> 結果: <div>胡辣湯</div> str: <div>胡辣湯</div> reg: <.*?> 結果: <div> </div> str: <div>胡辣湯</div> reg: <(div|/div*)?> 結果: <div> </div>
.*?x的特殊含義 找到下?個x為?.
str: abcdefgxhijklmn reg: .*?x 結果:abcdefgx
5.分組
在正則中使?()進?分組. 比如. 我們要匹配?個相對復雜的?份證號. ?份證號分
成兩種. 老的?份證號有15位. 新的?份證號有18位. 並且新的?份證號結尾有可能是x.
給出以下正則: ^[1-9]\d{13,16}[0-9x]$ ^[1-9]\d{14}(\d{2}[0-9x])?$ ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$
6.轉義
6. 轉義
在正則表達式中, 有很多有特殊意義的是元字符, ?如\n和\s等,如果要在正則中匹
配正常的"\n"?不是"換?符"就需要對"\"進?轉義, 變成‘\\‘.在python中, ?論是正則表達式, 還
是待匹配的內容, 都是以字符串的形式出現的, 在字符串中\也有特殊的含義, 本身還需要轉
義. 所以如果匹配?次"\n", 字符串中要寫成‘\\n‘, 那麽正則?就要寫成成"\\\\n",這樣就太麻煩了.
這個時候我們就?到了r‘\n‘這個概念, 此時的正則是r‘\\n‘就可以了.
練習:
1. 匹配郵箱
2. 匹配?機號
3. 匹配??. ?期格式(yyyy-MM-dd)
二、re模塊
re模塊是python提供的?套關於處理正則表達式的模塊. 核?功能有四個:
1.findall 查找所有,返回list
lst = re.findall("m", "mai le fo len, mai ni mei!") print(lst) # [‘m‘, ‘m‘, ‘m‘] lst = re.findall(r"\d+", "5點之前. 你要給我5000萬") print(lst) # [‘5‘, ‘5000‘]
2.search會進行匹配,但是如果匹配到了第一個結果。就會返回這個結果。如果匹配不上search
返回的則是None
ret = re.search(r‘\d‘, ‘5點之前. 你要給我5000萬‘).group() print(ret) # 5
3.match 只能從字符串的開頭進行匹配
ret = re.match(‘a‘, ‘abc‘).group() print(ret) # a
4. finditer 和findall差不多. 只不過這時返回的是叠代器
it = re.finditer("m", "mai le fo len, mai ni mei!") for el in it: print(el.group()) # 依然需要分組
5.其他的操作
ret = re.split(‘[ab]‘, ‘qwerafjbcd‘) # 先按‘a‘分割得到‘qwer‘和‘fjbcd‘,在 對‘qwer‘和‘fjbcd‘分別按‘b‘分割 print(ret) # [‘qwer‘, ‘fj‘, ‘cd‘] ret = re.sub(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中 的數字換成__sb__ print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_ ret = re.subn(r"\d+", "_sb_", "alex250taibai250wusir250ritian38") # 將數字替 換成‘__sb__‘,返回元組(替換的結果,替換了多少次) print(ret) # (‘alex_sb_taibai_sb_wusir_sb_ritian_sb_‘, 4) obj = re.compile(r‘\d{3}‘) # 將正則表達式編譯成為?個 正則表達式對象, 規則要匹配的 是3個數字 ret = obj.search(‘abc123eeee‘) # 正則表達式對象調?search, 參數為待匹配的字符串 print(ret.group()) # 結果: 123
6.爬蟲重點:
obj = re.compile(r‘(?P<id>\d+)(?P<name>e+)‘) # 從正則表達式匹配的內容每個組起名 字 ret = obj.search(‘abc123eeee‘) # 搜索 print(ret.group()) # 結果: 123eeee print(ret.group("id")) # 結果: 123 # 獲取id組的內容 print(ret.group("name")) # 結果: eeee # 獲取name組的內容
以上有兩個坑
註意:在re模塊中和我們在線測試工具中的結果可能是不一樣的。
ret = re.findall(‘www.(baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # [‘oldboy‘] 這是因為findall會優先把匹配結果組?內容返回,如果想要匹 配結果,取消權限即可 ret = re.findall(‘www.(?:baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # [‘www.oldboy.com‘]
split裏也有一個坑
ret=re.split("\d+","eva3egon4yuan") print(ret) #結果 : [‘eva‘, ‘egon‘, ‘yuan‘] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #結果 : [‘eva‘, ‘3‘, ‘egon‘, ‘4‘, ‘yuan‘] #在匹配部分加上()之後所切出的結果是不同的, #沒有()的沒有保留所匹配的項,但是有()的卻能夠保留了匹配的項, #這個在某些需要保留匹配部分的使?過程是?常重要的。
這種優先級的問題有時候會幫我們完成很多功能. 我們來看?個比較復雜的例?
import re from urllib.request import urlopen import ssl # ?掉數字簽名證書 ssl._create_default_https_context = ssl._create_unverified_context content = urlopen("https://www.dytt8.net/html/gndy/dyzz/20181228/57986.html").read().decode("gbk") # print(content) #測試下是否可以獲取到 reg = r‘<div id="Zoom">.*?◎片 名(?P<DVD_name>.*?)<br />◎年 代(?P<years>.*?)<br />◎產 地(?P<made_address>.*?)<br />.*?<br />◎主 演(?P<main_yan>.*?)◎簡 介 <br /><br />(?P<jianjie>.*?)<br /><br />.*?<a href="(?P<DownLine>.*?)">‘ res = re.finditer(reg,content,re.S) for i in res: print("電影名:") print("\t"+i.group("DVD_name")) #電影名字 print("年代:") print("\t"+i.group("years")) # 年代 print("產地:") print("\t"+i.group("made_address")) #產地 print("主演:") print("\t"+i.group("main_yan").replace("<br />","、").replace(" ","")) #主演 print("簡介:") print("\t"+i.group("jianjie")) # 簡介 print("下載鏈接:") print("\t"+i.group("DownLine")) #下載鏈接
正則表達式和re模塊就說這麽多. 如果要把正則所有的內容全部講清楚講明?, ?少要?周
以上的時間. 對於我們?常使???. 上述知識點已經夠?了. 如果碰到?些極端情況建議想
辦法分部處理. 先對字符串進?拆分. 然後再考慮?正則.
常用模塊3(和之前的1,2一起食用效果更佳)