開啟Scrapy專案之旅之二:用Scrapy進行專案爬蟲管理
阿新 • • 發佈:2018-12-30
1、進入scrapy資料夾下,建立Scrapy專案
scrapy startproject myfirstpjt
2、進入自己建立的scrapy專案中:
cd myfirstpjt
進入後,我們可以對該爬蟲專案進行管理,可以通過工具命令實現,下節介紹。
3、爬蟲專案管理就少不了日誌檔案。
日誌檔案;用來記錄使用者所有操作的資訊。
在我們建立爬蟲專案的時候就可以加上一些引數進行控制,如:
1、scrapy startproject -h (用於調出幫助資訊)
2、--logfile=FILE引數用來指定日誌檔案 如:將日誌檔案存在上一層目錄上 scrapy startproject --logfile=“../logf.log” mypjt1
我們可以對日誌等級進行控制,以便於日記檔案中輸出我們需要的資訊。
CRITICAL:發生最嚴重的錯誤
ERROR:發生了必須立即處理的錯誤
WARNING:出現了一些警告資訊,即潛在錯誤
INFO:輸出一些提示資訊
DEBUG:輸出一些除錯資訊,常用於開發階段
預設為DEBUG
設定日誌檔案輸出內容
scrapy startproject --loglevel=DEBUG mypjt2
不輸出日誌檔案資訊
scrapy startproject --nolog mypjt3
若要刪除爬蟲專案,直接刪除資料夾即可。