Windows安裝Scrapy
阿新 • • 發佈:2018-04-07
ron load 大學 span mouseover font windows 遇到的問題 lib
Scrapy是python開發的一個爬蟲框架,如果你要學習它的話,可能第一步在安裝的時候,就會遇到很多問題,因為Scrapy很多模塊都是基於linux下的,可能你在mac上或者linux上面安裝的時候,不會有什麽問題,但是Windows上面安裝的話,可能會有各種各樣的問題。
這裏我就把遇到的問題整理下,怎麽解決。
1、直接安裝 pip install scrapy
2、安裝的時候scrapy它要依賴很多其他的模塊,一般都是其他的模塊安裝的時候會報錯,因為pip安裝的版本和實際的操作系統需要的版本對應不上,比如說twisted
3、在pip安裝scrapy的時候,他會自動安裝其他依賴的模塊,安裝到哪個模塊報錯了,它會停止安裝,看下面的圖,就在安裝twisted的時候報錯了
4、打開https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安裝報錯的模塊,手動下載對應操作系統的安裝包,手動安裝。
https://www.lfd.uci.edu/~gohlke/pythonlibs/這個網站是美國一個醫科大學的網站,他這個裏面有很多python第三方模塊的安裝包,打開這個網站之後,咱們要裝twisted,就直接搜twisted就可以了,可以看到有好幾個安裝包,根據自己的python版本和操作系統版本下載就好了,看下面的圖。
6、下載之後它是一個whl的文件,也是直接用pip安裝就行了
1 |
pip install C:\Users\bjniuhanyang\Downloads\Twisted-17.9.0-cp35-cp35m-win_amd64.whl |
7、重復第一步
基本上安裝scrapy出現的錯誤,都是因為單個依賴包有問題導致的,用此方法可以解決大部分問題
Windows安裝Scrapy