1. 程式人生 > >python bs4模組 BeautifulSoup 學習筆記

python bs4模組 BeautifulSoup 學習筆記

bs4 模組的 BeautifulSoup 可以用來爬取html頁面的內容,配合requests庫可以寫簡單的爬蟲。

1、利用requests請求html頁面,獲取HTML頁面內容

import requests
from bs4 import BeautifulSoup


session = requests.session()

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}

session.headers.update(headers)

# step 1  開啟登陸頁面
url = 'http://10.10.10.10/xx'
r = session.get(url)
html = r.text

2、利用BeautifulSoup,解析HTML得到想要的資訊

soup = BeautifulSoup(html, 'html.parser')
# BeautifulSoup支援多種元素定位方式,也支援CSS定位,得到的是一個列表,列表中的元素資訊可以用get方法獲取
s1 = soup.select('#id')[0].get('value')
#S1 就是對應元素value屬性的值
print(s1)