1. 程式人生 > >Python3.X下安裝Scrapy (轉自魚c論壇作者lumber2388779)

Python3.X下安裝Scrapy (轉自魚c論壇作者lumber2388779)

相信很多同學對於爬蟲需要安裝Scrapy時候,不想特地去安裝2.X版本
我也是這樣一個懶人,我從網上找到這篇文章
在Python3.x下安裝和測試Scrapy爬網站
根據上邊的教程可以在我的電腦上正確安裝Scrapy
電腦環境:Win7 64位系統
Python版本:3.6
以下轉自https://zhuanlan.zhihu.com/p/23103620?refer=gooseeker

Scrapy所依賴的Twisted和Lxml在Windows/Python 3.x的平臺還不能通過pip直接安裝,所以直接使用pip也無法安裝Scrapy。

1、安裝Twisted和Lxml
通過下載對應的.whl檔案來安裝Twisted和Lxml,下載地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

這裡根據你自己的計算機系統和python版本選擇合適的Twisted和Lxml,比如我的電腦,我選擇的是
lxml‑3.7.3‑cp36‑cp36m‑win32.whl和Twisted‑17.1.0‑cp36‑cp36m‑win32.whl

開啟命令提示符視窗,輸入命令如下兩條命令來完成Twisted和Lxml。
pip install C:\Twisted‑17.1.0‑cp36‑cp36m‑win32.whl
pip install C:\lxml‑3.7.3‑cp36‑cp36m‑win32.whl
根據你自己的檔案目錄進行修改命令
2、安裝Scrapy
在命令提示符中使用pip安裝Scrapy
pip install Scrapy即可完成Scrapy的安裝

3. Scrapy測試,敲一個基於Scrapy框架的爬蟲程式
開啟命令提示符視窗,輸入命令如下命令
Scrapy startproject turtoria
如果安裝成功的話,此處不會有任何報錯,並會在你輸入命令所在目錄創建出turtoria資料夾

安裝使用過程可能會碰到跟我報一個缺少win32api的問題,這個問題解決方案也很簡單,從http://www.lfd.uci.edu/~gohlke/pythonlibs/下載對應的pywin32後,然後將Python安裝目錄\Lib\site-packages\pywin32_system32目錄下兩個檔案拷貝到C:\Windows\System32目錄就可以解決


我自己對原文做了一定修改和精簡方便各位初學者,如果有問題也可以在本帖回覆,我能夠作答一定會告訴你的

原文地址:http://bbs.fishc.com/thread-84202-1-1.html

相關推薦

Python3.X安裝Scrapy c論壇作者lumber2388779

相信很多同學對於爬蟲需要安裝Scrapy時候,不想特地去安裝2.X版本我也是這樣一個懶人,我從網上找到這篇文章在Python3.x下安裝和測試Scrapy爬網站根據上邊的教程可以在我的電腦上正確安裝Scrapy電腦環境:Win7 64位系統Python版本:3.6以下轉自h

Windows10安裝ScrapyPython3.6

第一步:下載安裝pywin32(圖形化介面安裝),檢視自己的python版本,以便於選擇合適的pywin32版本。 這裡python3.6版本,32bit。 下載連結:下載地址 第二步:安裝lxml pip install lxml 第三步:下載安裝twisted(命令列

mac 安裝jdk

spa idl sig classes frame jstack ascii javah cmd 出自 http://blog.csdn.net/collonn/article/details/28483109: Mac OS 10.9會安裝jdk1.6。蘋果提供的Ja

Windows 10安裝scrapypip方式,非wheel

pytho www log compiler rap compile sof soft ref 1、安裝Microsoft Visual Studio Build Tools 打開下載鏈接,點擊“https://aka.ms/BuildTools”

Oracle database和client 安裝教程部落格園,用於備忘

** database ** 1.先到Oracle官網上下載11g oracle Database 11g 第 2 版 (11.2.0.1.0) 標準版、標準版 1 以及企業版 適用於 Microsoft Windows (x64) 的 Oracle Datab

Python3.7安裝scrapy框架

環境:Python 3.7.0 ( Jun 27 2018) [Win10 64 bit] 現在是2018年9月11日,安裝python3.7和scrapy,記錄安裝過程中出現了一些可能會出現的報錯。 首先是安裝Python, 對應自己的OS版本 Python fo

win10 安裝 neo4j

unit 數據庫 width 環境變量 跳轉 aid ons follow thumb 1.neo4j介紹 neo4j是基於Java語言編寫圖形數據庫。圖是一組節點和連接這些節點的關系。圖形數據庫也被稱為圖形數據庫管理系統或GDBMS。詳細介紹可看Neo4j 教程 2.安裝

CentOS7 軟體包安裝與解除安裝猿課阿銘老師

1. rpm工具 rpm Redhat Package Manager, 設計理念是開放的,不僅僅是在RedHat平臺上,在SUSE上也是可以使用的。 rpm包名字構成由-和.分成了若干部分,如abrt-cli-2.0.8-15.el6.centos.i686.rpm,abrt-cli是包 名,2.0.8-1

java編碼轉換過程http://cmsblogs.com/?p=1475

tex src bytes .com 設定 界面 console 獲取 java程序 一、java編碼轉換過程(轉自http://cmsblogs.com/?p=1475) 我們總是用一個java類文件和用戶進行最直接的交互(輸入、輸出),這些交互內容包含的文字可能會包含

centos7安裝docker12.3容器之間的連通性

daemon 2.3 es2017 命令 selinux bridge 之前 -- 9.png 我們接著盜圖,如下: 在這張圖上,可以看到,如果兩個容器使用同一個bridge,那麽兩個容器之間是互相能通的 可以看到兩個容器在同一個bridge下是可以互相ping通的

centos7安裝docker14.2跨主機網絡-overlay

活性 用戶 driver 試驗 mach 實踐 point ogr drive 為支持容器跨主機通信,Docker提供了overlay driver,使用戶可以創建基於VxLAN的overlay網絡。VxLAN可將二層數據封裝到UDP進行傳輸,VxLAN提供與VLAN相同的

centos7安裝docker15.4跨主機網絡-flannel

url eos 配置 實現 國外 ken 由於 con pin flannel是CoreOS開發的容器網絡解決方案,flannel為每一個host分配一個subnet,容器從這些subnet中分配IP,這些IP可以在host之間路由,容器無需NAT和port mapping

centos7安裝docker25docker swarm---replicated mode&global mode

收集 默認 停止 通過 repl 靈活 images es2017 spa swarm可以在service創建或運行過程中靈活的通過--replicas調整容器的副本數量,內部調整調度器則會根據當前集群資源使用的情況在不同的node上啟動或停止容器,這就是service默認

windows安裝mysqlmysql-installer-community-5.6.10.1

自動 選擇 devel 界面 mysql-in for 選項 需要 acc 轉載 2015年06月07日 18:22:57 轉載自:http://blog.sina.com.cn/s/blog_7cecec9501017cmk.html 一、安裝前的準備

我是如何從程式設計師一步一步走向產品經理人人都是產品經理

這是一篇長文,我花了差不多30分鐘才看完,也是我見過有史以來最長最完整的一篇關於程式設計師轉型產品經理的文章。創辦人人都是產品經理以來,每天都有很多人問我如何轉型做產品經理、轉型產品經理會遇到哪些問題,其實我一直沒能回答好這個問題,因為我從運營轉型產品經理的過程太順利,並且轉型的過程也沒有做太多的

Java分散式中文分片語件 - word分詞 https //github com/ysc/word

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

centos7安裝docker15.5容器跨主機網路--flanneld

flannel是由CoreOS研究的一種覆蓋網路(overlay network)網路工具,目的是幫助每一個host主機有一個完整的子網; 功能是:讓叢集中不同節點的主機建立的容器都有一個唯一的虛擬IP 工作原理:將TCP資料包裝在另一種網路包裡進行路由轉發和通訊,目前已經支援UDP,Vxlan,AWS,AP

laravel 使用遞迴實現無限分類oschina姚棉偉原創

實現規格:一個新聞無線分類系統最終實現的效果如下 ㅣㅡㅡ體育新聞 ㅣㅡㅡㅡㅡ足球新聞 ㅣㅡㅡㅡㅡ籃球新聞 ㅣㅡㅡㅡㅡ其他體育 ㅣㅡㅡ娛樂新聞 ㅣㅡㅡㅡㅡ電影 ㅣㅡㅡㅡㅡ音樂 ㅣㅡㅡ科技新聞 ㅣㅡㅡㅡㅡ智慧手機 ㅣㅡㅡㅡㅡㅡㅡ小米手機 ㅣㅡㅡ

MySQL的MyISAM和InnoDB對比及優化猿課論壇阿銘老師

MyISAM和InnoDB是在使用MySQL最常用的兩個表型別,各有優缺點,視具體應用而定。基本的差別為:MyISAM型別不支援事務處理等高階處理,而InnoDB型別支援。MyISAM型別的表強調的是效能,其執行速度比InnoDB型別更快,但是不提供事務支援,而InnoDB提供事務支援已經外部鍵等高階資料庫功

清華大學MOOC《作業系統》第4講:“實驗1-系統軟體啟動過程”總結張慕暉部落格

課程內容概述 這節課主要介紹了一些和Lab1相關的內容。 系統啟動過程 BIOS bootloader 段機制 作業系統的載入 C語言的一些相關知識 函式呼叫的實現 GCC內聯彙編 x86架構下的中斷處理過程 系統啟動過程 BIO