1. 程式人生 > >爬蟲的入門庫fake_useragent,偽造隨機的請求頭,用法-案例篇

爬蟲的入門庫fake_useragent,偽造隨機的請求頭,用法-案例篇

from urllib.request import Request,urlopen
from fake_useragent import UserAgent
url ='https://www.sxt.cn/index/user.html'
headers ={
    'User-Agent': UserAgent().chrome,
    }
request =Request(url,headers=headers)
response =urlopen(request)
info =response.read().decode()
print(info)

       上節,我們講過了,構造一個請求頭列表,我們從中選擇一個請求頭,加入到請求頭裡,這種方案,適合簡單的網頁,但是複雜一點的呢?其實我們Python庫,已經給咱們想好對策了.什麼呢?那就是
fake_useragent庫,專門構造偽裝請求頭的庫,所以小夥伴們學習爬蟲的話,訪問網頁的時候,加入這個庫就可以構造隨機請求頭了,相對於前面的那個從列表中選取方案更加保險。具體用法呢?首先匯入fake_useragent庫,然後定義請求頭,最後訪問網址的時候在,url後面加入請求頭資訊就行了。