1. 程式人生 > >Windows安裝Scrapy

Windows安裝Scrapy

ron load 大學 span mouseover font windows 遇到的問題 lib

Scrapy是python開發的一個爬蟲框架,如果你要學習它的話,可能第一步在安裝的時候,就會遇到很多問題,因為Scrapy很多模塊都是基於linux下的,可能你在mac上或者linux上面安裝的時候,不會有什麽問題,但是Windows上面安裝的話,可能會有各種各樣的問題。

這裏我就把遇到的問題整理下,怎麽解決。

1、直接安裝 pip install scrapy

2、安裝的時候scrapy它要依賴很多其他的模塊,一般都是其他的模塊安裝的時候會報錯,因為pip安裝的版本和實際的操作系統需要的版本對應不上,比如說twisted

3、在pip安裝scrapy的時候,他會自動安裝其他依賴的模塊,安裝到哪個模塊報錯了,它會停止安裝,看下面的圖,就在安裝twisted的時候報錯了


技術分享圖片

4、打開https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安裝報錯的模塊,手動下載對應操作系統的安裝包,手動安裝。

https://www.lfd.uci.edu/~gohlke/pythonlibs/這個網站是美國一個醫科大學的網站,他這個裏面有很多python第三方模塊的安裝包,打開這個網站之後,咱們要裝twisted,就直接搜twisted就可以了,可以看到有好幾個安裝包,根據自己的python版本和操作系統版本下載就好了,看下面的圖。

技術分享圖片

6、下載之後它是一個whl的文件,也是直接用pip安裝就行了

1 pip install C:\Users\bjniuhanyang\Downloads\Twisted-17.9.0-cp35-cp35m-win_amd64.whl

7、重復第一步

基本上安裝scrapy出現的錯誤,都是因為單個依賴包有問題導致的,用此方法可以解決大部分問題

Windows安裝Scrapy