萌新爬蟲的動力就是爬取妹子圖!批量爬取妹子圖喲!
阿新 • • 發佈:2018-12-19
進群:960410445 即可獲取原始碼!
目錄
- 前言
- Media Pipeline
- 啟用Media Pipeline
- 使用 ImgPipeline
- 抓取妹子圖
- 瞎比比與送書後話
前言
我們在抓取資料的過程中,除了要抓取文字資料之外,當然也會有抓取圖片的需求。那我們的 scrapy 能爬取圖片嗎?答案是,當然的。說來慚愧,我也是上個月才知道,在 zone7 粉絲群中,有群友問 scrapy 怎麼爬取圖片資料?後來搜尋了一下才知道。現在總結一下分享出來。
Media Pipeline
我們的 itempipeline 處理可以處理文字資訊以外,還可以儲存檔案和圖片資料,分別是 FilesPipeline 和 ImagesPipeline
Files Pipeline
- 避免重新下載最近已經下載過的資料
- 指定儲存路徑
FilesPipeline的典型工作流程如下:
- 在一個爬蟲裡,你抓取一個專案,把其中圖片的URL放入 file_urls 組內。
- 專案從爬蟲內返回,進入專案管道。
- 當專案進入 FilesPipeline,file_urls 組內的URLs將被Scrapy的排程器和下載器(這意味著排程器和下載器的中介軟體可以複用)安排下載,當優先順序更高,- - 會在其他頁面被抓取前處理。專案會在這個特定的管道階段保持“locker”的狀態,直到完成檔案的下載(或者由於某些原因未完成下載)。
- 當檔案下載完後,另一個欄位(files)將被更新到結構中。這個組將包含一個字典列表,其中包括下載檔案的資訊,比如下載路徑、源抓取地址(從 file_urls 組獲得)和圖片的校驗碼(checksum)。 files 列表中的檔案順序將和源 file_urls 組保持一致。如果某個圖片下載失敗,將會記錄下錯誤資訊,圖片也不會出現在 files 組中。
Images Pipeline
- 避免重新下載最近已經下載過的資料
- 指定儲存路徑
- 將所有下載的圖片轉換成通用的格式(JPG)和模式(RGB)
- 縮圖生成
- 檢測影象的寬/高,確保它們滿足最小限制
啟用Media Pipeline
# 同時啟用圖片和檔案管道 ITEM_PIPELINES = { # 使用時,請修改成你自己的 ImgPipeline 'girlScrapy.pipelines.ImgPipeline': 1, } FILES_STORE = os.getcwd() + '/girlScrapy/file' # 檔案儲存路徑 IMAGES_STORE = os.getcwd() + '/girlScrapy/img' # 圖片儲存路徑 # 避免下載最近90天已經下載過的檔案內容 FILES_EXPIRES = 90 # 避免下載最近90天已經下載過的影象內容 IMAGES_EXPIRES = 30 # 設定圖片縮圖 IMAGES_THUMBS = { 'small': (50, 50), 'big': (250, 250), } # 圖片過濾器,最小高度和寬度,低於此尺寸不下載 IMAGES_MIN_HEIGHT = 128 IMAGES_MIN_WIDTH = 128
需要說明的是,你下載的圖片名最終會以圖片 URL 的 hash 值命名,例如:
0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg
最終的儲存地址為:
your/img/path/full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg
使用 ImgPipeline
這是我 demo 中的一個 ImgPipeline,裡面重寫了兩個方法。
from scrapy.pipelines.images import ImagesPipeline class ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個類 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item
分別是:
get_media_requests(self, item, info): item_completed(self, results, item, info):
get_media_requests(self, item, info):
在這裡,我們可以獲取到 parse 中解析的 item 值,因此我們可以獲取到相應的圖片地址。在這裡返回一個 scrapy.Request(image_url) 去下載圖片。
item_completed(self, results, item, info):
item 和 info 打印出來都是 url 地址列表。其中 results 打印出來是如下值。
# 成功 [(True, {'path': 'full/0bddea29939becd7ad1e4160bbb4ec2238accbd9.jpg', 'checksum': '98eb559631127d7611b499dfed0b6406', 'url': 'http://mm.chinasareview.com/wp-content/uploads/2017a/06/13/01.jpg'})] # 錯誤 [(False, Failure(...))]
抓取妹子圖
ok,理論部分也講完了,那我們來實踐一下吧
spider
spider 部分很簡單,如下:
class GirlSpider(scrapy.spiders.Spider): name = 'girl' start_urls = ["http://www.meizitu.com/a/3741.html"] def parse(self, response): soup = BeautifulSoup(response.body, 'html5lib') pic_list = soup.find('div', id="picture").find_all('img') # 找到介面所有圖片 link_list = [] item = ImgItem() for i in pic_list: pic_link = i.get('src') # 拿到圖片的具體 url link_list.append(pic_link) # 提取圖片連結 item['image_urls'] = link_list print(item) yield item
item
class ImgItem(scrapy.Item): image_urls = scrapy.Field()#圖片的連結 images = scrapy.Field()
ImgPipeline
class ImgPipeline(ImagesPipeline):#繼承 ImagesPipeline 這個類 def get_media_requests(self, item, info): for image_url in item['image_urls']: image_url = image_url yield scrapy.Request(image_url) def item_completed(self, results, item, info): image_paths = [x['path'] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item
啟動
scrapy crawl girl
最終爬取結果如下:
刪除了某些不適內容,哈哈哈