【爬蟲】python爬蟲工具scrapy的安裝使用
阿新 • • 發佈:2018-12-12
關於使用方法及教程參考如下:
本文章的安裝環境如下
window10 python3.X
文中使用的是python3.5,安裝方法如下
第一步,安裝pypiwin32
pip install pypiwin32
第二步,安裝Twisted
首先,安裝前檢視當前python版本
python -V
可以看到我的python版本是3.5.2,並且window系統是64位,然後開啟網址,搜尋Twisted關鍵字
若打不開網址,並且python版本和我一樣是3.5的,我已經上傳,點選下面下載
Twisted-18.9.0-cp35-cp35m-win_amd64.whl
下載網址:
https://www.lfd.uci.edu/~gohlke/pythonlibs/
可以看到Twisted有多個下載版本選擇,因為我安裝的python版本是3.5.2,所以選擇cp35,同時因為作業系統是64位,所以選擇win_amd64,故選擇如下:
檔案下載完成後,複製檔案到桌面,開啟cmd,進入到desktop目錄
輸入
pip install Twisted-18.9.0-cp35-cp35m-win_amd64.whl
即可安裝成功
第三步,安裝Scrapy
pip install Scrapy
安裝完成後,使用scrapy startproject tutorial命令初始化專案
scrapy startproject tutorial
初始化完成後,目錄如下:
tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ... |
這些檔案分別是:
scrapy.cfg: 專案的配置檔案
tutorial/: 該專案的python模組。之後您將在此加入程式碼。
tutorial/items.py: 專案中的item檔案.
tutorial/pipelines.py: 專案中的pipelines檔案.
tutorial/settings.py: 專案的設定檔案.
tutorial/spiders/: 放置spider程式碼的目錄.