1. 程式人生 > >從scrapy框架搭建入門python包的安裝

從scrapy框架搭建入門python包的安裝

        python作為一門對新手非常友好的語言,在安裝的難度上卻完爆了絕大多數其他語言。為了讓萌新不在python2,python3的版本之坑中艱難的掙扎,我決定總結一下一些比較方便的安裝包的方法和遇到問題的解決思路。在此先列出幾種較為通用的解決方案,然後從python安裝開始,詳細講解完安裝scrapy的步驟。在此之前,先來個開篇提示。英文使用者名稱!英文路徑名!英文使用者名稱!英文路徑名!英文使用者名稱!英文路徑名!重要的事情說三遍,電腦的使用者名稱和存放各種軟體的路徑名一定要是英文!

一、安裝思路

1.從官網進行對應whl檔案的下載(下面通過python2.7安裝scrapy將詳細解釋如何下載和安裝whl檔案)

        當pip install XXXX失敗的時候,進入對應的https://pypi.python.org/pypi/XXXX網站,有的會直接給出表格file,然後選擇對應的你安裝的python版本進行安裝即可;有的沒有表格,這時候在頁面中找到Download URL,然後點進去就是對應的下載連結。一般python2需要的包都可以在官網找到。

2.從http://www.lfd.uci.edu/~gohlke/pythonlibs/進行對應檔案的下載

        官網有些包給出的版本非常有限,尤其是很多包還沒有官方的python3版本如Twisted,這時候有兩種解決方案,一種是直接在Github上下載原始碼然後剪下到site-package內,另外一種就是在這個網站內下載,通過http://www.lfd.uci.edu/~gohlke/pythonlibs/XXXX即可直接跳轉對應連結。很多python3要求的包都只能在GitHub和這個網站裡找到。

3.最省心但可能是另外一個坑的方案:.安裝Anaconda全家桶,從此一鍵安裝不用愁

        Anaconda也分為2和3的版本,根據你選擇的python版本對應進行安裝。但是Anaconda安裝也會遇到很多坑,詳情可以參考這個連結:https://zhuanlan.zhihu.com/p/25198543

。如果實在是遇到Anaconda安裝出現的問題太多難以為繼,可以先從下面兩種解決方案入手去解決問題,等對python更為熟悉之後再回過頭來安裝Anaconda。


二、python安裝教程

1.安裝python

        從python官網中下載python,選擇2或者3的版本,地址為https://www.python.org/downloads/。msi檔案可以直接執行,按部就班的安裝好之後開始配置環境變數。

2.配置環境變數

        右鍵單擊我的電腦(計算機/此電腦)-屬性-高階系統設定-環境變數-點選(系統變數(S)中的)Path-編輯-新建-在出現的空格中輸入你安裝python的路徑。如果你沒有更改安裝路徑,python2的環境變數預設為C:\Python27

,python3把27改為3對應的版本即可,如3.6就是36。配置完環境變數後在CMD中輸入python,如果能成功顯示python相關資訊,就表示python安裝且環境配置成功了。

        注:win10系統桌面沒有‘我的電腦’解決方案:右鍵單擊桌面-個性化-主題-桌面圖示設定-勾選計算機,點確定即可。

3.pip安裝教程

        pip官網下載地址為https://pypi.python.org/pypi/pip。下載完畢之後先解壓,把解壓之後的資料夾移到python所在的資料夾裡,然後在CMD中使用python setup.py install命令進行安裝。安裝完畢後也需要配置環境變數,將pip所處的位置填入path變數。如果安裝的時候沒有修改環境路徑,python2.7版本填入地址為C:\Python27\Scripts;如果修改了環境路徑,可以在左下角鍵入pip,回車,右鍵點選彈出的最佳匹配,點'開啟檔案所在的位置'即可找到pip安裝路徑。(同理,如果安裝完python或者pycharm之類的檔案找不到圖示在哪,都可以在左下角搜尋框中找到)

         注:如果電腦上同時配置了python2和python3,對python3進行安裝的時候要用命令:pip3 install XXXX。

4.IDLE

        IDLE是python自帶的編輯器,建議新手先使用IDLE進行程式設計,較為熟悉之後再用pycharm等,因為互動式的IDLE能讓人立即反應過來自己出錯。從搜尋框開啟IDLE之後,右鍵單擊螢幕最下方工作列中的IDLE圖示,選擇固定到工作列(建議把CMD也固定到工作列,因為前期可能經常要用)

三、scrapy安裝教程

1.wheel包安裝

        pip install wheel即可安裝wheel。如果想安裝最新版本,可以進入連結https://pypi.python.org/pypi/wheel下載或者直接pip install wheel==0.30.0a0。

        注:pip install XXXX==x.x(X表示字母,x表示數字或字母)是安裝對應指定版本的python包的方法,因為系統自動pip安裝的包有些時候不符合版本要求,又或者一些版本最新的包並不能支援你所需要的功能,如Twisted17.1.0就無法支援scrapy,此時就需要指定版本進行安裝。另外,這個方法也可以用於更新到最新版本。如果輸入一個錯誤的X.X,CMD中將會返回所有正確的版本,此時可以隨便選擇喜歡的版本進行安裝。

2.下載scrapy環境搭建需要的支援包(在此列出的都是python2最新版本或者需要的版本,請按順序下載,python3的使用者如果發現對應連結中沒有你需要的版本,請在http://www.lfd.uci.edu/~gohlke/pythonlibs中統一下載)

        ①lxml:https://pypi.python.org/pypi/lxml/3.8.0

        ②setuptools:https://pypi.python.org/pypi/setuptools/36.0.1

        ③zope.interface:https://pypi.python.org/pypi/zope.interface/4.4.1

        ④Twisted:https://pypi.python.org/pypi/Twisted/13.1.0(python2.7要求版本為13.1.0.python3.6可以用16.6.0的版本)

        ⑤OpenSSL:https://pypi.python.org/pypi/pyOpenSSL/17.0.0

        ⑥pywin32:https://pypi.python.org/pypi/pywin32(這個需要跳轉到其他連結下載)

3.安裝支援包

        統一在CMD中用pip install XXXX(檔名)進行安裝,如:pip install lmxl-3.8.0-cp27-cp27m-win32.whl。如果安裝報錯,那可能是pip版本問題。查詢pip支援版本方法:在IDLE中輸入:import pip,回車,pip.pep425tags.get_supported()。如果顯示出的版本都是形如('cp27', 'none', 'win32')這樣的,就把whl檔案檔名改為lmxl-3.8.0-cp27-none-win32.whl(也就是把cp27m改為none),python3的版本同理修改。修改檔名之後在CMD中執行pip install lmxl-3.8.0-cp27-none-win32.whl,就能成功安裝whl檔案。

4.安裝及驗證scrapy

        至此,python已經安裝完畢,環境變數也已經配置好,pip和wheel包以及各種scrapy需要的支援包也全部安裝完畢,想必你已經迫不及待的要pip install scrapy了。但是還不行,你還需要下載一個Microsoft Visual C++ 9.0(python2對應,也叫Microsoft Visual C++ 2008)或者Microsoft Visual C++ 14.0(python3對應,也叫Microsoft Visual C++ 2015),python2和python3分別有指定的版本要求。

        9.0下載地址:http://www.jb51.net/softs/73040.html

        14.0下載地址:http://www.jb51.net/softs/402927.html

安裝完畢之後,就可以pip install scrapy了!安裝完畢之後在IDLE中import scrapy,如果成功,再在cmd中輸入scrapy startproject 專案名,如scrapy startproject firsttest。如果也成功建立專案,就說明scrapy框架正式搭建完畢。恭喜!

四、後記

        請務努力瞭解GitHub,作為一門開源語言,當你熟悉python之後,你會發現從GitHub上面獲取各種包才是最方便快捷的方式