Python實戰（一）——Python編寫網路爬蟲
阿新 • • 發佈：2019-02-17
實戰內容針對不需要login的靜態網頁爬取。避免抓取登入、ajax非同步載入的內容。
一、抓取程式主要模組組成
1、url管理器 ：管理已抓取、未抓取的url連線，避免重複、迴圈抓取
2、網頁下載器 urllib2：下載url網頁資料
3、網頁解析器 BeautifulSoup：解析下載好的網頁，提取主要資料
二、抓取思路
1、從根url出發，訪問所有關聯的n個url，依次爬取。
2、url管理器儲存方式：
記憶體：set python的set直接去除重複資料
db：mysql url iscrawl
快取：redis 待爬取 set
3、網頁下載器
urllib2 下載網頁的方式
4、頁面解析器
正則匹配、html.parser、BeautifalSoup外掛、lxml
三、各模組程式碼
1、url管理器
#coding:utf-8 class UrlManager(object): #初始化兩個set ，分別存放新舊url def __init__(self): self.new_urls=set() self.old_urls=set() #新增新的url def add_new_url(self,url):#接收引數url，直接在方法後加入即可 if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) #批量新增n個url def add_new_urls(self,urls): if urls is None or len(urls)==0: return for url in urls: self.add_new_url(url) def has_new_url(self): return len(self.new_urls) !=0 def get_new_url(self): new_url=self.new_urls.pop()#從set集合中取走這個url self.old_urls.add(new_url) return new_url
2、網頁下載器
#coding:utf-8
class HtmlDownloader(object):
def download(self,url):
if url is None:
return None
responce=urllib2.urlopen(url)
if responce.getcode!=200:
return None
return reponce.read()
3、網頁解析器
#coding:utf-8 class HtmlParser(object): #獲取所有的a標籤的url def _get_new_urls(self, page_url, soup): new_urls=set() #/view/123.htm 類似於這樣的url，所以需要拼接 links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm")) for link in links: new_url=link['href'] new_full_url=urlparse.urljoin(page_url,new_url) #拼接成完整的url new_urls.add(new_full_url) return new_urls def _get_new_data(self, page_url, soup): res_data={}#定義字典 res_data['url']=page_url title_node=soup.find('dd',className='class-title').find('h1') res_data['title']=title_node.get_text() summary_node=soup.find('div',className='class-summary') res_data['summary']=summary_node.get_text() return res_data def parse(self,parse_url,html_content): if page_url is None or html_content is None: return soup=BeautifulSoup(html_content,'html.parser',from_encoding='utf-8') new_urls=self._get_new_urls(page_url,soup) new_data=self._get_new_data(page_url,soup) return new_urls,new_data
4、解析資料輸出器
#coding:utf-8
class HtmlOutPuter(object):
def __init__(self):
self.datas=[] #list列表，用於存放解析資料
def collect_data(self,data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout=open('output.html','w')#дģʽ
fout.write("<html>")
fout.write("<body>")
fout.write("<table>")
for data in self.datas:
fout.write("<td>%s</td>"%data['url'])
fout.write("<td>%s</td>"%data['title'],encode('utf-8'))
fout.write("<td>%s</td>"%data['summary'],encode('utf-8'))
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
fout.close()5、main啟動
#coding:utf-8
#1 判斷url 百科中相關連線 /view/bai/要補全url在進行
#2 檢視網頁編碼
class SpiderMain(object):
#初始化變數
def _init_(self):
self.urls=url_manager.UrlManager()
self.downloader=html_downloader.HtmlDownloader()
self.parser=html_parser.HtmlParser()
self.outputer=html_output.HtmlOutputer()
def crawl(self, root_url):
pass
#main函式
if __name__=='_main_':
root_url='http://baike.baidu.com/link?url=aj_RuPg5N5xQOJuE6iVlpwpkViTYB-agGx-CdgJPaW9H9fMDDrEajQt9ZDLBX0fRoOoGwrjkVYjm1vpMpMNLFa'
obj_spider=SpiderMain()
obj_spider.crawl(root_url) #ctr+1 建立方法、類快捷鍵