1. 程式人生 > >Python---獲取div標籤中的文字

Python---獲取div標籤中的文字

預備知識點

compile 函式

compile 函式用於編譯正則表示式,生成一個正則表示式( Pattern )物件,供 match() 和 search() 這兩個函式使用。

語法格式為:

re.compile(pattern[, flags]).compile(pattern[, flags])

引數:

  • pattern : 一個字串形式的正則表示式
  • flags 可選,表示匹配模式,比如忽略大小寫,多行模式等,具體引數為:
    • re.I 忽略大小寫
    • re.L 表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴於當前環境
    • re.M 多行模式
    • re.S 即為' . '並且包括換行符在內的任意字元(' . '不包括換行符)
    • re.U 表示特殊字符集 \w, \W, \b, \B, \d, \D, \s, \S 依賴於 Unicode 字元屬性資料庫
    • re.X 為了增加可讀性,忽略空格和' # '後面的註釋

檢索和替換

Python 的re模組提供了re.sub用於替換字串中的匹配項。

語法:

re.sub(pattern, repl,string, count=0).sub(pattern, repl,string, count=0)

引數:

  • pattern : 正則中的模式字串。
  • repl : 替換的字串,也可為一個函式。
  • string : 要被查詢替換的原始字串。
  • count : 模式匹配後替換的最大次數,預設 0 表示替換所有的匹配。

Python中字串前面加上 r 表示原生字串, 與大多數程式語言相同,正則表示式裡使用"\"作為轉義字元,這就可能造成反斜槓困擾。假如你需要匹配文字中的字元"\",那麼使用程式語言表示的正則表示式裡將需要4個反斜槓"\\\\":前兩個和後兩個分別用於在程式語言裡轉義成反斜槓,轉換成兩個反斜槓後再在正則表示式裡轉義成一個反斜槓。Python裡的原生字串很好地解決了這個問題,這個例子中的正則表示式可以使用r"\\"表示。同樣,匹配一個數字的"\\d"可以寫成r"\d"。有了原生字串,你再也不用擔心是不是漏寫了反斜槓,寫出來的表示式也更直觀。

思路整理:

 在程式設計過程中遇到的部分問題在這裡寫出來和大家共享

 問題1:在程式設計過程中成功獲取了目標的名字,但是它存在於div框架中,我們要做的就是將div中的文字與標籤分開,在這裡我們用的是正則表示式

 問題2:

上程式碼:

<span style="color:#000000"># -*- coding: UTF-8 -*-
import requests
import time
import re
from bs4 import BeautifulSoup
from urllib.request import urlretrieve

if __name__ == '__main__':
    list_url = []
    url = 'https://www.names.org/n/kevin/about'
    #設定請求頭資訊
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
    }
    req = requests.get(url=url,headers=headers)
    req.encoding='utf-8'
    html=req.text
    bf = BeautifulSoup(html,'html.parser')
    targets_url_1 = bf.find_all(class_='container page-section')
    bf = BeautifulSoup(str(targets_url_1),'html.parser')
    targets_url_2 = bf.find_all(class_='name')
    
    #儲存名字連結
    for each in targets_url_2:
        list_url.append(re.sub('[\t\n]',"",re.sub(r'<[^>]+>',"",str(each))))
    
    f = open('test.txt', 'w')  #首先先建立一個檔案物件,開啟方式為w
    for each in list_url:
        f.writelines(each)  #用readlines()方法寫入檔案
        f.writelines('\n')
         
    print(list_url)
     
    print('下載完成!')
          </span>

需要下面資源的童鞋可以關注我部落格左側的微信公眾號獲取