python爬取百度搜索結果ur匯總
寫了兩篇之後,我覺得關於爬蟲,重點還是分析過程
分析些什麽呢:
1)首先明確自己要爬取的目標
比如這次我們需要爬取的是使用百度搜索之後所有出來的url結果
2)分析手動進行的獲取目標的過程,以便以程序實現
比如百度,我們先進行輸入關鍵詞搜索,然後百度反饋給我們搜索結果頁,我們再一個個進行點擊查詢
3)思考程序如何實現,並克服實現中的具體困難
那麽我們就先按上面的步驟來,我們首先認識到所搜引擎,提供一個搜索框,讓用戶進行輸入,然後點擊執行
我們可以先模擬進行搜索,發現點擊搜索之後的完整url中有一項很關鍵,如下
http://www.baidu.com/s?wd=搜索內容......
後面的內容我們嘗試去除之後再次請求上面的url,發現返回的信息一樣,我們就可以斷定請求的url只需要填入wd這個參數即可
接著我們就應該進行嘗試requests.get()查看是否能正常返回頁面,防止百度的反爬蟲
嘿,幸運的是返回頁面正常哈哈~
(當然如果沒有返回到正常信息,只要設置好headers或者嚴格的cookies就行了)
import requests url = ‘http://www.baidu.com/s?wd=......‘ r = requests.get(url) print r.status_code,r.content
好,接下來我們就想知道怎麽爬取所有的結果
我麽再次對url進行分析,發現url中還有一項很關鍵,是控制頁碼的項:
http://www.baidu.com/s?wd=...&pn=x
這個x是每10為一頁,第一頁為0,而且一共76頁,也就是750最大值,大於750則返回第一頁
接下來我們就可以對抓取到的頁面進行分析
還是使用友好的beautifulsoup
我們通過分析發現我們所需要的url在標簽a中的href裏,而且格式是這樣:
http://www.baidu.com/link?url=......
因為還存在很多別的url混淆,所以我們只需要進行一個篩選就行了
而且這個獲得的url並不是我們想要的url結果,這只是百度的一個跳轉鏈接
但是讓我欣慰的是,當我們隊這個跳轉鏈接進行get請求後,直接返回get對象的url便是我們想要的結果鏈接了
然後我們再次進行嘗試,發現還是沒有別的反爬蟲機制哈哈
本來的想法是,我們是否要先進行一個對新的url返回的狀態碼進行一個篩選,不是200就不行(甚至還需要些headers)
但是我發現,其實就算不是200,我們只要返回請求對象的url就行了,和能不能正常返回沒關系
因為我們的目的並不是請求的頁面結果,而是請求的url
所以只需要全部打印出來就行了
當然我建議寫一個簡單的籠統的headers寫入get,這樣至少能排除一些不必要的結果
接著我們請求的完整思路就差不多了
上代碼:
#coding=utf-8 import requests import sys import Queue import threading from bs4 import BeautifulSoup as bs import re headers = { ...... } class baiduSpider(threading.Thread): def __init__(self,queue,name): threading.Thread.__init__(self) self._queue = queue self._name = name def run(self): while not self._queue.empty(): url = self._queue.get() try: self.get_url(url) except Exception,e: print e pass #一定要異常處理!!!不然中途會停下,爬取的內容就不完整了!!! def get_url(self,url): r = requests.get(url = url,headers = headers) soup = bs(r.content,"html.parser") urls = soup.find_all(name=‘a‘,attrs={‘href‘:re.compile((‘.‘))}) # for i in urls: # print i #抓取百度搜索結果中的a標簽,其中href是包含了百度的跳轉地址 for i in urls: if ‘www.baidu.com/link?url=‘ in i[‘href‘]: a = requests.get(url = i[‘href‘],headers = headers) #對跳轉地址進行一次訪問,返回訪問的url就能得到我們需要抓取的url結果了 #if a.status_code == 200: #print a.url with open(‘E:/url/‘+self._name+‘.txt‘) as f: if a.url not in f.read(): f = open(‘E:/url/‘+self._name+‘.txt‘,‘a‘) f.write(a.url+‘\n‘) f.close() def main(keyword): name = keyword f = open(‘E:/url/‘+name+‘.txt‘,‘w‘) f.close() queue = Queue.Queue() for i in range(0,760,10): queue.put(‘http://www.baidu.com/s?wd=%s&pn=%s‘%(keyword,str(i))) threads = [] thread_count = 10 for i in range(thread_count): spider = baiduSpider(queue,name) threads.append(spider) for i in threads: i.start() for i in threads: i.join() print "It‘s down,sir!" if __name__ == ‘__main__‘: if len(sys.argv) != 2: print ‘no keyword‘ print ‘Please enter keyword ‘ sys.exit(-1) else: main(sys.argv[1])
我們工具的功能就是:
python 123.py keyword
就能將url結果寫入文件
這邊sys我有話講
在if __name__ == ‘__main__‘:中先進行一個判斷,如果輸入的字段是一個,那麽我們就返回提醒信息,讓用戶進行鍵入
如果是兩個,那麽就將第二個鍵入記為keyword進行操作
當然這邊邏輯有個缺陷,就是大於兩個字符會不會有別的問題(別的問題哦!!!)
值得研究一下,但這不是我們這篇的重點
好啦,今天的百度url結果手收集就那麽多啦!
謝謝觀看哦!
python爬取百度搜索結果ur匯總