適合新手的Python爬蟲小程式
阿新 • • 發佈：2019-01-08
介紹：此程式是使用python做的一個爬蟲小程式 爬取了python百度百科中的部分內容，因為這個demo是根據網站中的靜態結構爬取的，所以如果百度百科詞條的html結構發生變化 需要修改部分內容。詞條連結 http://baike.baidu.com/item/Python
邏輯步驟:1.主程式部分，主要初始化程式中需要用到的各個模組分為(1)連結管理模組。 (2)連結下載儲存模組 (3)解析網頁模組 (4)輸出解析內容模組，然後就是寫抓取網頁內容的方法。
下邊為爬取方法程式碼：
def craw(self, root_url): #抓取網頁 count = 1 self.urls.add_new_url(root_url) while self.urls.has_new_url(): #判斷是否有新的網頁抓取 try: new_url = self.urls.get_new_url() #獲取新的url print "craw %d : %s"%(count,new_url) html_cont = self.downloader.download(new_url)#獲取新網頁的連結 new_urls,new_data=self.parser.parse(new_url,html_cont) #解析網址和網址內容 self.urls.add_new_urls(new_urls) #url放入管理器 self.outputer.collect_data(new_data) #網頁資料收集 if count == 30: break count +=1 except: print 'craw failed' self.outputer.output_html()
2.連結管理模組 中實現四個方法a.向儲存連結的表中新增需要爬取的新的連結add_new_url b. 批量新增新連結 add_new_urls c.判斷連結表中是否有待爬取的新連結has_new_url d.取一個待爬取的新連結 並將這個連結從連結表中移除（防止重複爬取相同內容）get_new_url
部分程式碼：
def add_new_url(self,url): #新增一個新的url if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self,urls): #批量新增url if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def has_new_url(self): #判斷是否有新的待取的url return len(self.new_urls) !=0 def get_new_url(self): #取一個待爬取的url new_url = self.new_urls.pop() #取一個url並將其移除 self.old_urls.add(new_url) return new_url
3.連結下載模組
使用urllib2進行需要爬取的連結的下載 （文末附上urllib2開發文件連結）
def download(self,url): #使用urllib2獲取網頁連結 if url is None: return None response = urllib2.urlopen(url) if response.getcode()!=200: #判斷請求是否成功 return None return response.read()
4.網頁解析模組
網頁解析使用beautifulsoup4庫進行操作（文末附上beautifulsoup4開發文件連結）
def _get_new_urls(self, page_url, soup): #獲取新的網址
new_urls = set()
links = soup.find_all('a',href= re.compile(r'/item/'))
for link in links:
new_url = link['href'] #因為詞條網址分成了兩段所以這裡需要將其拼接
new_full_url = urlparse.urljoin(page_url,new_url)
new_urls.add(new_full_url) #將完整網址新增到網址列表中
return new_urls
def _get_new_data(self, page_url, soup): #獲取新的網址中內容
res_data = {}
#url
res_data['url']=page_url
#<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data['title']=title_node.get_text()
#<div class="lemma-summary"
summary_node = soup.find('div',class_="lemma-summary")
res_data['summary']=summary_node.get_text()
return res_data5.輸出內容
將爬取的內容以html形式儲存在本地（程式碼成功執行後再工程project下重新整理會有一個html檔案）
def output_html(self):
fout = open('output.html','w')
fout.write("<html><meta charset=\"utf-8\" />")
fout.write("<body>")
fout.write("<table>")
#ascii
for data in self.datas:
fout.write("<tr>")
#fout.write("<td>%s</td>" % data['url'])
fout.write("<td>%s</td>" % data['title'])
fout.write("<td>%s</td>" % data['summary'])
fout.write("</tr>")
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
fout.close()beautifulsoup4開發文件：https://www.crummy.com/software/BeautifulSoup/bs4/doc/點選開啟連結