1. 程式人生 > >python 爬蟲框架 scrapy 的目錄結構

python 爬蟲框架 scrapy 的目錄結構

First:

scrapy 框架的專案目錄結構

Second:
scrapy.cfg檔案:主要是爬蟲專案的配置檔案

hexunpjt/hexunpjt/__init__.py 檔案:專案的初始化檔案,主要寫的是一些專案初始化資訊

hexunpjt/hexunpjt/items.py 檔案:爬蟲專案的資料容器檔案,主要用來定義我們要獲取的資料

hexunpjt/hexunpjt/pipelines.py 檔案:爬蟲專案的管道檔案,主要用來對 items 裡定義的資料進行進一步的加工與處理

hexunpjt/hexunpjt/settings.py 檔案:爬蟲專案的設定檔案,主要為爬蟲專案的一些設定資訊

spiders 資料夾:爬蟲專案中的爬蟲部分相關的檔案。

hexunpjt/hexunpjt/spiders/__init__.py 檔案:爬蟲專案中爬蟲部分的初始化檔案,主要對 spiders 進行初始化