Python 爬蟲實現簡單例子（爬取某個頁面）
阿新 • • 發佈：2019-01-10
Python爬蟲最簡單實現
#!/usr/bin/env python
#coding=utf-8
import urllib
import urllib2
def login():
url = 'https://www.oschina.net/action/user/hash_login'
values= {'userMail':'[email protected]','userPassword':'123456'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87Safari/537.36'
data = urllib.urlencode(values)
request = urllib2.Request(url=url,data=data,headers=headers)
response = urllib2.urlopen(request)
printresponse.read()
if __name__ == "__main__":
login()
urllib.urlencode來對輸入的資料進行格式化，urllib2.urlopen後面既可以是一個request物件又可以是一個URL的字串。但是推薦使用的是request物件，因為這樣看起來比較清楚，從建立請求傳入引數，都是比較清晰的。最後對爬到的網頁內容進行輸出即可。
note：在上面的程式中加上了header資訊，並不是所有的網站都是需要加的，但是有些網站禁止爬蟲來爬取這些資訊，所以加上這些資訊之後我們就可以偽造成瀏覽器的訪問請求了。