1. 程式人生 > >python爬蟲學習之正則表示式的基本使用

python爬蟲學習之正則表示式的基本使用

一、正則表示式

  1. 正則表示式是字串處理的有力工具和技術。
  2. 正則表示式使用某種預定義的模式去匹配一類具有共同特徵的字串,主要用於處理字串,可以快速、準確地完成複雜的查詢、替換等處理要求,在文字編輯與處理、網頁爬蟲之類的場合中有重要應用。
  3. Python中,re模組提供了正則表示式操作所需要的功能。

二、正則表示式語法

  

   

 使用示例:

  • 最簡單的正則表示式是普通字串,可以匹配自身
  • '[pjc]ython'可以匹配'python'、'jython'、'cython'
  • '[a-zA-Z0-9]'可以匹配一個任意大小寫字母或數字
  • '[^abc]
    '可以一個匹配任意除'a'、'b'、'c'之外的字元
  • 'python|perl'或'p(ython|erl)'都可以匹配'python'或'perl'
  • 子模式後面加上問號表示可選。r'(http://)?(www\.)?python\.org'只能匹配'http://www.python.org'、'http://python.org'、'www.python.org'和'python.org'
  • '^http'只能匹配所有以'http'開頭的字串
  • (pattern)*:允許模式重複0次或多次
  • (pattern)+:允許模式重複1次或多次
  • (pattern){m,n}:允許模式重複m~n次
  • '(a|b)*c':匹配多個(包含0個)a或b,後面緊跟一個字母c。
  • 'ab{1,}':等價於'ab+',匹配以字母a開頭後面帶1個至多個字母b的字串。
  • '^[a-zA-Z]{1}([a-zA-Z0-9._]){4,19}$':匹配長度為5-20的字串,必須以字母開頭並且可帶字母、數字、“_”、“.”的字串。
  • '^(\w){6,20}$':匹配長度為6-20的字串,可以包含字母、數字、下劃線。
  • '^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$':檢查給定字串是否為合法IP地址。
  • '^(13[4-9]\d{8})|(15[01289]\d{8})$':檢查給定字串是否為移動手機號碼。
  • '^[a-zA-Z]+$':檢查給定字串是否只包含英文字母大小寫。
  • '^\[email protected](\w+\.)+\w+$':檢查給定字串是否為合法電子郵件地址。
  • r'(\w)(?!.*\1)':查詢字串中每個字元的最後一次出現。
  • r'(\w)(?=.*\1)':查詢字串中所有重複出現的字元
  • '^(\-)?\d+(\.\d{1,2})?$':檢查給定字串是否為最多帶有2位小數的正數或負數。
  • '[\u4e00-\u9fa5]':匹配給定字串中所有漢字。
  • '^\d{18}|\d{15}$':檢查給定字串是否為合法身份證格式。
  • '\d{4}-\d{1,2}-\d{1,2}':匹配指定格式的日期,例如2016-1-31。
  • '^(?=.*[a-z])(?=.*[A-Z])(?=.*\d)(?=.*[,._]).{8,}$':檢查給定字串是否為強密碼,必須同時包含英語字母大寫字母、英文小寫字母、數字或特殊符號(如英文逗號、英文句號、下劃線),並且長度必須至少8位。
  • "(?!.*[\'\"\/;=%?]).+":如果給定字串中包含’、”、/、;、=、%、?則匹配失敗。
  • '(.)\\1+':匹配任意字元的一次或多次重複出現。
  • '((?P<f>\b\w+\b)\s+(?P=f))':匹配連續出現兩次的單詞。
  • '((?P<f>.)(?P=f)(?P<g>.)(?P=g))':匹配AABB形式的成語或字母組合。

三、re模組主要方法

  

 正則表示式物件的match方法和search方法匹配成功後返回match物件。match物件的主要方法有:

  • group():返回匹配的一個或多個子模式內容
  • groups():返回一個包含匹配的所有子模式內容的元組
  • groupdict():返回包含匹配的所有命名子模式內容的字典
  • start():返回指定子模式內容的起始位置
  • end():返回指定子模式內容的結束位置的前一個位置
  • span():返回一個包含指定子模式內容起始位置和結束位置前一個位置的元組。