利用Python爬蟲爬取京東商品的簡要資訊
一、前言
本文適合有一定Python基礎的同學學習Python爬蟲，無基礎請點選：慕課網——Python入門 申明：例項的主體框架來自於慕課網——Python開發簡單爬蟲
語言：Python2
IDE：VScode二、何為爬蟲
傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，然後下載佇列中的URL地址對應的網頁。解析後抓取網頁內容，不斷從當前頁面上抽取新的URL放入佇列,直到滿足系統的一定停止條件。同時，它還會根據一定的搜尋策略獲取我們所需的資訊並儲存下來。最後為了展示我們爬到的資料，往往還會用HTML的表格或記事本儲存我們所需要的資料。 簡單來說，爬蟲就是一門用來從網際網路上自動獲取我們所需資料的技術。三、JD商品詳情頁的網頁分析
入口URL選擇為JD某商品詳情頁：https://item.jd.com/4224129.html
我們需要分析的內容主要有：
3.1詳情頁上指向的其他URL
我們開啟https://item.jd.com/4224129.html，發現網頁上還有很多指向其他商品的連結。
通過滑鼠右鍵，檢視元素，我們可以發現商品頁面上的以上鍊接均為以下格式: //item.jd.com/數字.html
分析到此，我們就知道抓取網頁內容時，從當前頁面上抽取新的URL的方法了。
3.2商品名稱、價格
同理，我們在商品名稱和價格處點選滑鼠右鍵檢視元素
四、簡單爬蟲框架
1.爬蟲總排程程式
即我們的main檔案，以入口URL為引數爬取所有相關頁面 2.URL管理器
維護待爬取和已爬取的URL列表
3.HTML下載器
主要功能是下載指定的url，這裡用到了urllib2 4.HTML解析器 主要功能是獲取網頁上所需的URL和內容，用到BeautifulSoup
正則表示式的基礎知識可以參見
另外安利一個網站，在寫正則表示式的時候可以先測試，很實用
5.輸出程式
將爬取到的資料寫入HTML檔案中，利用HTML的table展示五、原始碼 1.爬蟲總排程程式
import url_manager, html_downloader, html_parser, html_outputer class SpiderMain(object): def __init__(self): self.urls = url_manager.UrlManager() self.downloader = html_downloader.Html_DownloaDer() self.parser = html_parser.HtmlParser() self.outputer = html_outputer.HtmlOutputer() #爬蟲排程程式 def craw(self, root_url): count = 1 #入口URL新增進URL管理器 self.urls.add_new_url(root_url) #啟動迴圈，獲取待扒取的URL，然後交給下載器下載頁面，呼叫解析器解析頁面 while self.urls.has_new_url(): try: new_url = self.urls.get_new_url() print 'craw',count, ':' ,new_url html_cont = self.downloader.download(new_url) #得到新的URL列表和內容 new_urls, new_data = self.parser.parse(new_url,html_cont) #新的URL存到URL管理器，同時進行資料的收集 self.urls.add_new_urls(new_urls) self.outputer.collect_data(new_data) if count == 10: break count = count +1 except: print 'craw dailed' #呼叫output_html展示爬取到的資料 self.outputer.output_html() if __name__ == "__main__": #入口URL root_url = "https://item.jd.com/4224129.html" obj_spider = SpiderMain() #啟動爬蟲 obj_spider.craw(root_url)
2.URL管理器
class UrlManager(object): def __init__(self): #未爬取URL列表，已爬取URL列表 self.new_urls = set() self.old_urls = set() #判斷管理器中是否有新的待扒取的URL def has_new_url(self): return len(self.new_urls) != 0 #獲取一個新的待扒取的URL def get_new_url(self): #pop方法：獲取列表中的一個URL並移除它 new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url #向管理器新增一個新的URL def add_new_url(self, url): if url is None: return #發現新的未新增的URL，則加入待扒取URL列表 if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) #向管理器新增批量個新的URL def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url)
3.HTML下載器
import urllib2 class Html_DownloaDer(): def download(self, url): if url is None: return None #呼叫urllib2庫的urlopen方法獲取 類檔案物件(fd) response """ response = urllib2.urlopen(url)""" #呼叫urllib2庫的Request方法建立request物件 request = urllib2.Request(url) #新增資料 request.add_data('a') #新增htp和header(偽裝成瀏覽器) request.add_header('User-Agent','Mozilla/5.0') #傳送請求獲取結果 response = urllib2.urlopen(request) #獲取狀態碼,200表示成功 if response.getcode() != 200: return None return response.read()
4.HTML解析器
from bs4 import BeautifulSoup import re import urlparse class HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls = set() #獲取所有的連結 #格式如:<a target="_blank" title="華為（HUAWEI）..." href="//item.jd.com/12943624333.html"> links = soup.find_all('a',href = re.compile(r"//item.jd.com/\d+\.htm")) #遍歷轉化為完整的URL for link in links: new_url = link['href'] new_full_url = urlparse.urljoin(page_url,new_url) #將結果存到一個新的列表裡 new_urls.add(new_full_url) return new_urls def _new_data(self, page_url, soup): res_data = {} #URL res_data['url'] = page_url #匹配標題 #<div class="sku-name">華為(HUAWEI) MateBook X 13英寸超輕薄微邊框筆記本(i5-7200U 4G 256G 拓展塢 2K屏 指紋 背光 office)灰</div> title_node = soup.find('div',class_ = "sku-name") res_data['title'] = title_node.get_text() #匹配價格 #<div class="dd"> #<span class="p-price"><span>￥</span><span class="price J-p-7430495">4788.00</span></span> """下載的網頁原始碼無價格資訊<span class="price J-p-7430495"></span></span>!!!!!""" price_node = soup.find('span',class_ = re.compile(r"price\sJ\-p\-\d+")) res_data['price'] =price_node.get_text() return res_data def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return soup = BeautifulSoup(html_cont,'html.parser') new_urls = self._get_new_urls(page_url,soup) _new_data = self._new_data(page_url,soup) return new_urls, _new_data
5.輸出程式
class HtmlOutputer(object): def __init__(self): self.datas = [] def collect_data(self,data): if data is None: return self.datas.append(data) def output_html(self): fout = open('output.html','w') fout.write("<html>") fout.write("<head>") fout.write('<meta charset="UTF-8">') fout.write("<body>") fout.write("<table>") #python預設編碼是ascii，中文可能會亂碼，故加上encode('utf-8') for data in self.datas: fout.write("<tr>") fout.write("<td>%s</td>" % data['url']) fout.write("<td>%s</td>" % data['title'].encode('utf-8')) fout.write("<td>%s</td>" % data['price'].encode('utf-8')) fout.write("</tr>") fout.write("</table>") fout.write("</body>") fout.write("</head>") fout.write("</html>")
六、待解決問題
關於我爬取不到價格的問題...
除錯中發現我已爬取到了對應的內容，唯獨少了價格...一度扎心啊...
但是...我檢視原始碼的時候真的是有價格的啊...求大神解惑
ps：第一次寫部落格，思路不是很清晰，歡迎學習交流指正。