爬蟲--Scrapy

Scrapy

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架。其可以應用在資料探勘，資訊處理或儲存歷史資料等一系列的程式中。其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的，也可以應用在獲取API所返回的資料(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。Scrapy用途廣泛，可以用於資料探勘、監測和自動化測試。

Scrapy框架

Scrapy 使用了 Twisted非同步網路庫來處理網路通訊。

pip install Scrapy

scrapy startproject your_project_name

project_name/

scrapy.cfg

project_name/

__init__.py

items.py

pipelines.py

settings.py

spiders/

__init__.py

檔案說明：

scrapy.cfg 專案的配置資訊，主要為Scrapy命令列工具提供一個基礎的配置資訊。（真正爬蟲相關的配置資訊在settings.py檔案中）
items.py 設定資料儲存模板，用於結構化資料，如：Django的Model
pipelines 資料處理行為，如：一般結構化的資料持久化
settings.py 配置檔案，如：遞迴的層數、併發數，延遲下載等
spiders 爬蟲目錄，如：建立檔案，編寫爬蟲規則

注意：一般建立爬蟲檔案時，以網站域名命名

2、編寫爬蟲

在spiders目錄中新建 xiaohuar_spider.py 檔案

xiaohuar_spider.py

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import scrapy

class XiaoHuarSpider(scrapy.spiders.Spider):

name = "xiaohuar" #spider_name，下面執行時用這個名字

allowed_domains = ["xiaohuar.com"]

start_urls = [

"http://www.xiaohuar.com/hua/",

]

def parse(self, response):

# print(response, type(response))

# from scrapy.http.response.html import HtmlResponse

# print(response.body_as_unicode())

current_url = response.url

body = response.body

unicode_body = response.body_as_unicode()

3、執行

進入project_name目錄，執行命令：

1	`scrapy crawl spider_name` `--nolog`

僅僅下載了初始url

4、遞迴的訪問

以上的爬蟲僅僅是爬去初始頁，而我們爬蟲是需要源源不斷的執行下去，直到所有的網頁被執行完畢

xiaohuar_spider.py

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import scrapy

from scrapy.http import Request

from scrapy.selector import HtmlXPathSelector

import re

import urllib

import os

class XiaoHuarSpider(scrapy.spiders.Spider):

name = "xiaohuar"

allowed_domains = ["xiaohuar.com"]

start_urls = [

"http://www.xiaohuar.com/list-1-1.html",

]

def parse(self, response):

# 分析頁面

# 找到頁面中符合規則的內容（校花圖片），儲存

# 找到所有的a標籤，再訪問其他a標籤，一層一層的搞下去

hxs = HtmlXPathSelector(response) #格式化HTML原始碼，選擇器，如選擇某個div下的a標籤

# 當前頁面！如果url是 http://www.xiaohuar.com/list-1-\d+.html

if re.match('http://www.xiaohuar.com/list-1-\d+.html', response.url):

items = hxs.select('//div[@class="item_list infinite_scroll"]/div') #找到校花列表下的所有div，一個div一個校花

for i in range(len(items)):

src = hxs.select('//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/a/img/@src' % i).extract()

name = hxs.select('//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/span/text()' % i).extract()

school = hxs.select('//div[@class="item_list infinite_scroll"]/div[%d]//div[@class="img"]/div[@class="btns"]/a/text()' % i).extract()

if src: #儲存圖片

ab_src = "http://www.xiaohuar.com" + src[0]

file_name = "%s_%s.jpg" % (school[0].encode('utf-8'), name[0].encode('utf-8'))

file_path = os.path.join("/Users/wupeiqi/PycharmProjects/beauty/pic", file_name)

urllib.urlretrieve(ab_src, file_path)

# 遞迴頁面！獲取所有的url，繼續訪問，並在其中尋找相同的url

all_urls = hxs.select('//a/@href').extract()

for url in all_urls:

if url.startswith('http://www.xiaohuar.com/list-1-'):

yield Request(url, callback=self.parse) #yield，遞迴的往下找

以上程式碼將符合規則的頁面中的圖片儲存在指定目錄，並且在HTML原始碼中找到所有的其他 a 標籤的href屬性，從而“遞迴”的執行下去，直到所有的頁面都被訪問過為止。以上程式碼之所以可以進行“遞迴”的訪問相關URL，關鍵在於parse方法使用了 yield Request物件。

注：可以修改settings.py 中的配置檔案，以此來指定“遞迴”的層數，如： DEPTH_LIMIT = 1

5、格式化處理

上述例項只是簡單的圖片處理，所以在parse方法中直接處理。如果對於想要獲取更多的資料（獲取頁面的價格、商品名稱、QQ等），則可以利用Scrapy的items將資料格式化，然後統一交由pipelines來處理。看下面的例項：

在items.py中建立類：

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class JieYiCaiItem(scrapy.Item):

company = scrapy.Field()

title = scrapy.Field()

qq = scrapy.Field()

info = scrapy.Field()

more = scrapy.Field()

上述定義模板，以後對於從請求的原始碼中獲取的資料同意按照此結構來獲取，所以在spider中需要有一下操作：

spiders/jieyicai.py

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import scrapy

import hashlib

from beauty.items import JieYiCaiItem

from scrapy.http import Request

from scrapy.selector import HtmlXPathSelector

from scrapy.spiders import CrawlSpider, Rule

from scrapy.linkextractors import LinkExtractor

class JieYiCaiSpider(scrapy.spiders.Spider):

count = 0

url_set = set()

name = "jieyicai"

domain = 'http://www.jieyicai.com'

allowed_domains = ["jieyicai.com"]

start_urls = [

"http://www.jieyicai.com",

]

rules = [

#下面是符合規則的網址,但是不抓取內容,只是提取該頁的連結(這裡網址是虛構的,實際使用時請替換)

#Rule(SgmlLinkExtractor(allow=(r'http://test_url/test?page_index=\d+'))),

#下面是符合規則的網址,提取內容,(這裡網址是虛構的,實際使用時請替換)

#Rule(LinkExtractor(allow=(r'http://www.jieyicai.com/Product/Detail.aspx?pid=\d+')), callback="parse"),

]

def parse(self, response):

md5_obj = hashlib.md5()

md5_obj.update(response.url)

md5_url = md5_obj.hexdigest()

if md5_url in JieYiCaiSpider.url_set:

pass

else:

JieYiCaiSpider.url_set.add(md5_url)

hxs = HtmlXPathSelector(response)

if response.url.startswith('http://www.jieyicai.com/Product/Detail.aspx'):

item = JieYiCaiItem()

item['company'] = hxs.select('//span[@class="username g-fs-14"]/text()').extract()

item['qq'] = hxs.select('//span[@class="g-left bor1qq"]/a/@href').re('.*uin=(?P<qq>\d*)&')

item['info'] = hxs.select('//div[@class="padd20 bor1 comard"]/text()').extract()

item['more'] = hxs.select('//li[@class="style4"]/a/@href').extract()

item['title'] = hxs.select('//div[@class="g-left prodetail-text"]/h2/text()').extract()

yield item

current_page_urls = hxs.select('//a/@href').extract()

for i in range(len(current_page_urls)):

url = current_page_urls[i]

if url.startswith('/'):

url_ab = JieYiCaiSpider.domain + url

yield Request(url_ab, callback=self.parse)

此處程式碼的關鍵在於：

將獲取的資料封裝在了Item物件中
yield Item物件（一旦parse中執行yield Item物件，則自動將該物件交個pipelines的類來處理）

piplines.py

import json

from twisted.enterprise import adbapi

import MySQLdb.cursors

import re

mobile_re = re.compile(r'(13[0-9]|15[012356789]|17[678]|18[0-9]|14[57])[0-9]{8}')

phone_re = re.compile(r'(\d+-\d+|\d+)')

class JsonPipeline(object):

def __init__(self):

self.file = open('/Users/wupeiqi/PycharmProjects/beauty/beauty/jieyicai.json', 'wb')

def process_item(self, item, spider):

line = "%s %s\n" % (item['company'][0].encode('utf-8'), item['title'][0].encode('utf-8'))

self.file.write(line)

return item

class DBPipeline(object):

def __init__(self):

self.db_pool = adbapi.ConnectionPool('MySQLdb',

db='DbCenter',

user='root',

passwd='123',

cursorclass=MySQLdb.cursors.DictCursor,

use_unicode=True)

def process_item(self, item, spider):

query = self.db_pool.runInteraction(self._conditional_insert, item)

query.addErrback(self.handle_error)

return item

def _conditional_insert(self, tx, item):

tx.execute("select nid from company where company = %s", (item['company'][0], ))

result = tx.fetchone()

if result:

pass

else:

phone_obj = phone_re.search(item['info'][0].strip())

phone = phone_obj.group() if phone_obj else ' '

mobile_obj = mobile_re.search(item['info'][1].strip())

mobile = mobile_obj.group() if mobile_obj else ' '

values = (

item['company'][0],

item['qq'][0],

phone,

mobile,

item['info'][2].strip(),

item['more'][0])

tx.execute("insert into company(company,qq,phone,mobile,address,more) values(%s,%s,%s,%s,%s,%s)", values)

def handle_error(self, e):

print 'error',e

上述中的pipelines中有多個類，到底Scapy會自動執行那個？哈哈哈哈，當然需要先配置了，不然Scapy就蒙逼了。。。

在settings.py中做如下配置：

ITEM_PIPELINES = {

'beauty.pipelines.DBPipeline': 300,

'beauty.pipelines.JsonPipeline': 100,

}

# 每行後面的整型值，確定了他們執行的順序，item按數字從低到高的順序，通過pipeline，通常將這些數字定義在0-1000範圍內。

更多請參見Scrapy文件：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

選擇器規則

demo

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import scrapy

import hashlib

from tutorial.items import JinLuoSiItem

from scrapy.http import Request

from scrapy.selector import HtmlXPathSelector

class JinLuoSiSpider(scrapy.spiders.Spider):

count = 0

url_set = set()

name = "jluosi"

domain = 'http://www.jluosi.com'

allowed_domains = ["jluosi.com"]

start_urls = [

"http://www.jluosi.com:80/ec/goodsDetail.action?jls=QjRDNEIzMzAzOEZFNEE3NQ==",

]

def parse(self, response):

md5_obj = hashlib.md5()

md5_obj.update(response.url)

md5_url = md5_obj.hexdigest()

if md5_url in JinLuoSiSpider.url_set:

pass

else:

JinLuoSiSpider.url_set.add(md5_url)

hxs = HtmlXPathSelector(response)

if response.url.startswith('http://www.jluosi.com:80/ec/goodsDetail.action'):

item = JinLuoSiItem()

item['company'] = hxs.select('//div[@class="ShopAddress"]/ul/li[1]/text()').extract()

item['link'] = hxs.select('//div[@class="ShopAddress"]/ul/li[2]/text()').extract()

item['qq'] = hxs.select('//div[@class="ShopAddress"]//a/@href').re('.*uin=(?P<qq>\d*)&')

item['address'] = hxs.select('//div[@class="ShopAddress"]/ul/li[4]/text()').extract()

item['title'] = hxs.select('//h1[@class="goodsDetail_goodsName"]/text()').extract()

item['unit'] = hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[1]//td[3]/text()').extract()

product_list = []

product_tr = hxs.select('//table[@class="R_WebDetail_content_tab"]//tr')

for i in range(2,len(product_tr)):

temp = {

'standard':hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[%d]//td[2]/text()' %i).extract()[0].strip(),

'price':hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[%d]//td[3]/text()' %i).extract()[0].strip(),

}

product_list.append(temp)

item['product_list'] = product_list

yield item

current_page_urls = hxs.select('//a/@href').extract()

for i in range(len(current_page_urls)):

url = current_page_urls[i]

if url.startswith('http://www.jluosi.com'):

url_ab = url

yield Request(url_ab, callback=self.parse)

來自為知筆記(Wiz)

爬蟲--Scrapy

爬蟲--Scrapy

Scrapy

2、編寫爬蟲

xiaohuar_spider.py

3、執行

4、遞迴的訪問

xiaohuar_spider.py

5、格式化處理

piplines.py​

選擇器規則

最新文章

piplines.py