1. 程式人生 > >Python 小甲魚爬蟲代理學習

Python 小甲魚爬蟲代理學習

今天學習了小甲魚的IP地址代理,程式碼如下:

import urllib.request
import random

url ='http://ip.chinaz.com/'

iplist=['27.18.152.111:8998','101.71.13.214:80','117.143.109.146:80']#一開始代理遇到問題,顯示與主機無法連線,問題出在代理伺服器的ip,最好去網上找最新的ip代理

proxy_support=urllib.request.ProxyHandler({'https':random.choice(iplist)})

opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
#防止反爬蟲所以更改了為瀏覽器的訪問

urllib.request.install_opener(opener)

respose=urllib.request.urlopen(url)
html=respose.read().decode('utf-8')

print(html)

新手第一次發部落格~~~~