1. 程式人生 > >在linux系統建立部署scrapy爬蟲專案

在linux系統建立部署scrapy爬蟲專案

我的主機最近一直出問題,所有的python環境全在物理機上面,現在裝新的第三方庫總是容易出問題,所以我決定把環境放到虛擬機器的環境中,然後存個快照,我的編譯器是pycharm,scrapy不像django一樣能夠直接建立,所以在建立專案的時候不能在本地建立,遇到了問題,不過現在已經解決,如果你也有這種問題,可以根據我的步驟繼續操作。

隨意建立一個python的專案,但是注意選擇好專案名字,最重要的是選擇好遠端linux上面的python環境,然後點選建立。

           

 

在linux系統上面建立專案:python3 -m scrapy startproject ScrapySpider                                                                                      (注:因為我有兩個python環境,所以我寫的python3  -m,如果你有一個環境,就直接用python)

在右側選擇RemoteHost,然後找到你建立檔案的資料夾,在上圖中可以看到,然後右鍵,選擇從這裡下載,然後就可以同步到本地啦。

開啟目錄,就可以看到你的scrapy專案啦。這種方法非常適合個人使用,我比較推薦。