python3 + Scrapy爬蟲學習之創建項目
阿新 • • 發佈：2019-04-17
set 切換 存儲 域名 arm () 打開文件 ofo 實戰 最近準備做一個關於scrapy框架的實戰，爬取騰訊社招信息並存儲，這篇博客記錄一下創建項目的步驟
pycharm是無法創建一個scrapy項目的
因此，我們需要用命令行的方法新建一個scrapy項目
請確保已經安裝了scrapy，twisted，pypiwin32
一：進入你所需要的路徑，這個路徑存儲你創建的項目
我的將放在E盤的Scrapy目錄下
二：創建項目：scrapy startproject ***(這個是項目名)
Pathon教程請添加鏈接描述
這樣就創建好了一個名為tencent的項目
三：進入項目新建一個爬蟲：scrapy genspider tencent_spider?hr.tencent.com
這裏我們要註意，上面的命令，加黑的是爬蟲名稱，斜體是域名
這樣，我們就新建了一個爬蟲項目，打開文件夾查看
打開spiders
然後我們用pycharm打開
點擊File —>open，找到項目所在文件夾，打開即可
這樣，我們就新建了一個scrapy項目，如果安裝了所需要的庫，scrapy飄紅，記得去切換解釋器
在File—>settings的標紅的地方
另外推薦大家，在根目錄下新建一個start.py的文件並寫入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
鼠標右鍵tencent，新建python文件，即可創建。
最近會把這個實戰項目寫下來並發上去。
python3 + Scrapy爬蟲學習之創建項目