傳送門：http://blog.csdn.net/feifly329/article/details/49702063

爬取網站圖片時,無法抓取.

在 setting.py 文件中 設置 日誌 記錄等級

LOG_LEVEL= ‘DEBUG‘

LOG_FILE =‘log.txt‘

查看日誌 發現報

2017-08-26 15:00:45 [scrapy] DEBUG: Filtered offsite request to ‘movie.mtime.com‘: <GET http://movie.mtime.com/12231/posters_and_images/>

這條日誌記錄有點奇怪 果斷上網百度 ,找到答案

官方對這個的解釋，是你要request的地址和allow_domain裏面的沖突(我的allow_domains=["http://www.mtime.com"])，從而被過濾掉。可以停用過濾功能。

yield Request(url, callback=self.parse_item, dont_filter=True)

scrapy 爬網站 顯示 Filtered offsite request to 錯誤