1. 程式人生 > >python 爬蟲學習

python 爬蟲學習

nal col spl split use oot quest except htm

爬蟲,筆記應該怎麽寫呢?

標準樣式

這就是一個標準的樣式,r=requests.request(get,params,等參數),參數有的是headers,是user_agent, 是用戶代理,默認這個是python requests,但有些網站不支持,比如亞馬遜。所以得加用戶代理參數,(可以換成,就谷歌瀏覽器打開使用者界面,就有。 還下載了一個插件 user_agent switcher ,想改什麽樣的都可以。

技術分享
 1 import requests
 2 import  os
 3 root = D://pics//
 4 url=http://www.nationalgeographic.com.cn/photography/photo_of_the_day/4309.html
5 path = root + url.split(/)[-1] 6 try: 7 if not os.path.exists(root): 8 os.mkdir(root) 9 if not os.path.exists(path): 10 r=requests.get(url) 11 with open(path,wb) as f: 12 f.write(r.content) 13 f.close() 14 print (文件保存成功
) 15 else: 16 print(文件已經存在) 17 except: 18 print(爬取失敗)
爬一個圖片

這個有些我還是沒看懂,也沒爬出來

python 爬蟲學習