1. 程式人生 > >開啟Scrapy專案之旅之二:用Scrapy進行專案爬蟲管理

開啟Scrapy專案之旅之二:用Scrapy進行專案爬蟲管理

1、進入scrapy資料夾下,建立Scrapy專案

scrapy startproject myfirstpjt

2、進入自己建立的scrapy專案中:

cd myfirstpjt

進入後,我們可以對該爬蟲專案進行管理,可以通過工具命令實現,下節介紹。

3、爬蟲專案管理就少不了日誌檔案。
日誌檔案;用來記錄使用者所有操作的資訊。
在我們建立爬蟲專案的時候就可以加上一些引數進行控制,如:

1、scrapy startproject -h (用於調出幫助資訊)
2、--logfile=FILE引數用來指定日誌檔案
如:將日誌檔案存在上一層目錄上
scrapy startproject --logfile=“../logf.log” mypjt1

我們可以對日誌等級進行控制,以便於日記檔案中輸出我們需要的資訊。
CRITICAL:發生最嚴重的錯誤
ERROR:發生了必須立即處理的錯誤
WARNING:出現了一些警告資訊,即潛在錯誤
INFO:輸出一些提示資訊
DEBUG:輸出一些除錯資訊,常用於開發階段
預設為DEBUG

設定日誌檔案輸出內容
scrapy startproject --loglevel=DEBUG mypjt2
不輸出日誌檔案資訊
scrapy startproject --nolog mypjt3

若要刪除爬蟲專案,直接刪除資料夾即可。