1. 程式人生 > >windows下安裝python+scrapy

windows下安裝python+scrapy

最近忽然有了想要學習python爬蟲的想法,但是首先需要安裝工具。python安裝倒是很輕鬆,只要傻瓜式一鍵安裝即可,但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳,說下我從昨天下午到今天上午安裝的步驟:

1、python的安裝

圖片描述

根據自己的機型,選擇下載對應的安裝包,我下載的是python 3.5.3版本的:

圖片描述

選定下載位置,傻瓜式一鍵安裝即可。實際上,32位和64位的版本安裝起來沒有區別,雙擊開啟後,第一步要記得勾上add python to Path 選項,這樣的好處是自動配置環境變數

clipboard.png

可在命令提示符中用命令python --version,驗證安裝是否成功:

clipboard.png

到此,python已經安裝好了!!!是不是hin簡單~接下來安裝scrapy吧^-^

2、scrapy的安裝

先安裝pywin32,進入https://sourceforge.net/proje...,下載與已安裝python版本對應的pywin64安裝包,例如python3.4 64位對應的安裝包為pywin32-218.win-amd64-py3.4.exe,下載完成後一直next安裝,依然是傻瓜式安裝法

clipboard.png

檢查安裝結果,在python命令列輸入import win32api,如果沒有報錯說明安裝完成,如果報錯說明PYTHONPATH環境變數沒有配置

clipboard.png

配置PYTHONPATH環境變數,將python安裝目錄下lib目錄中的site-packages路徑新增到PYTHONPATH環境變數,再次檢驗安裝結果

clipboard.png

clipboard.png

clipboard.png

開啟命令提示符視窗,輸入命令:
pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下載好的twisted模組的whl檔案路徑),盜一下別人的圖

clipboard.png
再輸入命令:pip --version,檢查安裝是否成功

clipboard.png

3、pip的安裝,估計因為我安裝的版本自動配置環境變數,所以我好像沒有下載pip,就可以用pip命令

如圖:

clipboard.png

但是,如果安裝pip的話,同樣要去python的官網下載,下載地址是https://pypi.python.org/pypi/... ,選擇相應版本下載,下載完成之後,解壓到資料夾。在該資料夾的目錄下使用控制檯命令:輸入python setup.py install;並新增入環境變數。

clipboard.png

好啦!一切準備工作就緒,現在開始安裝scrapy~

twisted庫安裝成功後,安裝scrapy就簡單了,在命令提示符視窗直接輸入命令: pip install scrapy 回車

clipboard.png

現在一切都搞定了,可以新建一個Scrapy測試,敲一個基於Scrapy框架的爬蟲程式咯。

心得:Windows下的安裝過程還是很麻煩的,因為有很多依賴要新增,不過在各方查詢資料以後彷彿就不是那麼難了!一步一步在cmd中執行測試,還要看錯誤提示,少哪一個依賴就下載哪一個安裝哪一個!環境框架已經搭好,接下來就是學習如何寫爬蟲程式了。
再貼兩個連結吧:
1、 https://segmentfault.com/a/11...
2、 http://jingyan.baidu.com/arti...