1. 程式人生 > >【爬蟲】python爬蟲工具scrapy的安裝使用

【爬蟲】python爬蟲工具scrapy的安裝使用

關於使用方法及教程參考如下:

Scrapy中文官方入門教程

本文章的安裝環境如下

window10 python3.X

文中使用的是python3.5,安裝方法如下

第一步,安裝pypiwin32

pip install pypiwin32

第二步,安裝Twisted

首先,安裝前檢視當前python版本

python -V

可以看到我的python版本是3.5.2,並且window系統是64位,然後開啟網址,搜尋Twisted關鍵字

若打不開網址,並且python版本和我一樣是3.5的,我已經上傳,點選下面下載

Twisted-18.9.0-cp35-cp35m-win_amd64.whl

下載網址:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

 

可以看到Twisted有多個下載版本選擇,因為我安裝的python版本是3.5.2,所以選擇cp35,同時因為作業系統是64位,所以選擇win_amd64,故選擇如下:

檔案下載完成後,複製檔案到桌面,開啟cmd,進入到desktop目錄

輸入

pip install Twisted-18.9.0-cp35-cp35m-win_amd64.whl

即可安裝成功

第三步,安裝Scrapy

pip install Scrapy

安裝完成後,使用scrapy startproject tutorial命令初始化專案

scrapy startproject tutorial

初始化完成後,目錄如下:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...


這些檔案分別是:

scrapy.cfg: 專案的配置檔案
tutorial/: 該專案的python模組。之後您將在此加入程式碼。
tutorial/items.py: 專案中的item檔案.
tutorial/pipelines.py: 專案中的pipelines檔案.
tutorial/settings.py: 專案的設定檔案.
tutorial/spiders/: 放置spider程式碼的目錄.