1. 程式人生 > >python3 HTTP Error 403:Forbidden(網站對爬蟲做了限制)

python3 HTTP Error 403:Forbidden(網站對爬蟲做了限制)

一般當你的爬蟲程式爬起來以後,出現這種情況就是因為你要爬取的網站對爬蟲進行了限制。

真小氣!!!

直接用火狐瀏覽器去檢視他的User-Agent就可以了


然後:

def getHtml(url):
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
    page1=urllib.request.Request(url,headers=headers)
    page=urllib.request.urlopen(page1)

    html=page.read()

這樣就可以了