我是用的IDE是pycharm,要想使用scrapy我們先安裝模組file-settings-project Interpreter

安裝完成之後我們開啟Terminal

在終端輸入：scrapy startproject tencent

建立spiders我們需要進入spiders中，輸入scrapy genscrapy tencentPosition 'tencent.com'

建立專案完成，

我們開始寫items

在構建spiders

需要配置管道

在settings.py配置

ITEM_PIPELINES = {
    'tencent.pipelines.TencentPipeline': 300,
}

如有需要我們還必須配置headers

DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
}

在終端輸入scrapy crawl tencentPosition 回車執行

另一個執行方法是建立start.py檔案：

然後我們就可以通過run來運行了，剛剛學習scrapy框架走了很多彎路希望你能幫到你，感謝閱讀。

執行結果：