【Python3~爬蟲工具】使用requests庫
阿新 • • 發佈:2018-03-25
python3 爬蟲 requestsurllib使用方式參考如下網址:
http://blog.51cto.com/shangdc/2090763
http://blog.51cto.com/shangdc/2090763
使用python爬蟲其實就是方便,它會有各種工具類供你來使用,很方便。Java不可以嗎?也可以,使用httpclient工具、還有一個大神寫的webmagic框架,這些都可以實現爬蟲,只不過python集成工具庫,使用幾行爬取,而Java需要寫更多的行來實現,但目的都是一樣。
下面介紹requests庫簡單使用:
#!/usr/local/env python # coding:utf-8 import requests #下面開始介紹requests的使用,環境語言是python3,使用下面的網址作為參考 #http://www.sse.com.cn/market/bonddata/data/tb/ request_param = {‘jsonCallBack‘: ‘jsonpCallback6588‘, ‘isPagination‘: ‘true‘, ‘sqlId‘: ‘COMMON_BOND_XXPL_ZQXX_L‘, ‘BONDTYPE‘: ‘地×××府債券‘, ‘pageHelp.pageSize‘: ‘25‘, ‘pageHelp.pageNo‘: ‘2‘, ‘pageHelp.beginPage‘: ‘2‘, ‘pageHelp.cacheSize‘: ‘1‘, ‘pageHelp.endPage‘: ‘21‘} user_agent = ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36‘ referer = ‘http://www.sse.com.cn/market/bonddata/data/ltb/‘ #設置headers headers = {‘User-Agent‘: user_agent, ‘Referer‘: referer} #設置代理 proxy = { "http":"http://113.214.13.1:8000" } # 需要請求的URL地址 request_url = ‘http://query.sse.com.cn/commonQuery.do?‘ #設置請求地址 response = requests.get(request_url, headers=headers, proxies=proxy, params=request_param); print(response.status_code) #文本響應內容 print(response.text) #json格式響應內容 print(response.json()) #二進制響應內容 print(response.content) #原始格式 print(response.raw)
留下練習題:
1、使用cookie的方式來爬取對應的網站?
【Python3~爬蟲工具】使用requests庫