認識程式中的debug資訊

 https://blog.csdn.net/wei18791957243/article/details/86157707  這個部落格裡寫了，怎麼關閉這些debug資訊

因為在Scrapy中預設是開啟debug資訊的

 

 

 Scrapy shell的使用

 退出到爬蟲專案的根目錄的上一級目錄

scrapy shell 網站地址        例如： scrapy shell http://quotes.toscrape.com/

如果電腦上裝的Ipython就進入Ipython，沒有就進入Python Sell

 執行上面的命令後，會列印一堆debug資訊以及可用的爬蟲物件

1. 然後即可以進行使用爬蟲物件對應的方法

  response物件

'''當前響應的url地址'''
response.url
'''返回請求的url網頁原始碼，注意型別是str型別'''
response.text
'''返回請求的url網頁原始碼，注意型別是bytes型別'''
response.body
'''也可以測試xpath是否寫的正確'''
response.xpath().extract()
'''當前響應對應的請求的url地址'''
response.request.url：
'''響應頭'''
response.headers：
'''當前響應的請求頭'''
response.requests.headers：

 

spider物件

'''爬蟲的名字，沒有指定就是default''' 
spider.name
'''列印log資訊'''
spider.log()
''''''

   還有其他的一些物件以及對應的請求, 我們可以

  在shell中輸入物件後然後按Tab鍵就可以看它對應的所有方法