Mac OS安裝Scrapy
阿新 • • 發佈:2017-06-13
競爭 卸載 刪除 tar home 分享 trace you exc
個人覺得掌握簡單的爬蟲知識非常有用,特別是想要從一些特定網站自動地下載一些資源或者統計一些數據,非常的有用。對於產品經理來說,如果要了解競爭產品、替代產品的價格,可以寫一個爬蟲腳本從各大電商網站爬取相關的資料,避免人工處理的麻煩。
Python寫爬蟲可以從簡單的Scrapy框架入手。對於Mac OS系統來說,由於系統本身會引用自帶的python2.x的庫,因此默認安裝的包是不能被刪除的。如果你使用python3.x可以使用homebrew來安裝,但是如果你習慣使用python2.x,那麽直接安裝在默認路徑會出錯。
Found existing installation: six 1.4.1 DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project. Uninstalling six-1.4.1: Exception: Traceback (most recent call last):
原因很簡單:Scrapy依賴six庫,但是系統的six庫比較老,安裝scrapy需要卸載之後安裝一個新的。但是Mac OS本身也依賴six,導致無法刪除,因此沒有辦法安裝Scrapy。
解決的方式是:使用virtualenv來安裝。
sudo pip install virtualenv
virtualenv scrapyenv
cd scrapyenv
source bin/activate
pip install Scrapy
安裝完成之後,安裝如下包:
好了,可以使用scrapy startproject yourproject
開始你的爬蟲之旅了。
Mac OS安裝Scrapy