2. 程式人生 > >在伺服器上搭建scrapy分散式爬蟲環境的過程

在伺服器上搭建scrapy分散式爬蟲環境的過程

阿新 • • 發佈：2019-01-07

這段時間在用 scrapy 爬取大眾點評美食店鋪的資訊，由於準備爬取該網站上全國各個城市的資訊，單機跑效率肯定是跟不上的，所以只能藉助於分散式。scrapy 學習自崔慶才老師的視訊，受益頗多，程式碼簡練易懂，風格清新。這裡梳理一遍從剛申請的伺服器環境配置，python 安裝，到搭建能執行分散式爬蟲的整個流程。

伺服器我是申請的阿里雲的學生機，騰訊雲和美團雲也申請了，相比起來還是阿里雲用起來舒服，騰訊雲使用體驗最差。我裝的是 centos 系統，以下也是 centos 下遇到的問題及解決問題的找過的連結。另外阿里雲需要新增安全組規則，將後面會用到的埠放行，例如27017，6800等。

從機配置

1.python 的安裝

在裝過好幾臺伺服器後總結出了最短且有效的裝 python 的方法，參考了這篇文章這裡簡要總結一下

  • yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
  • wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
  • mkdir /usr/local/python3
  • tar -zxvf Python-3.6.3.tgz
  • cd Python-3.6.3
  • ./configure --prefix=/usr/local/python3
  • make && make install
  • ln -s /usr/local/python3/bin/python3 /usr/bin/python3 建立 python3 的軟連結
  • ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 建立 pip3 的軟連結
  • 最後命令列下輸入pip3和python3 -V 驗證一下是否都成功

2.mongodb的安裝

在從機上都裝上 mongodb，爬取的資料都存在各自的伺服器上，之後再彙總。這裡參考了這篇文章

  • vim /etc/yum.repos.d/mongodb-org-3.4.repo
  • [mongodb-org-3.4]
    name=MongoDB Repository
    baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
    gpgcheck=1
    enabled=1
    gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
    將以上內容複製貼上進去剛開啟的視窗
  • yum -y install mongodb-org
  • systemctl enable mongod.service 設定開機啟動
  • vim /etc/mongod.conf 編輯配置檔案，註釋掉 bindIp，並重啟 mongodb
  • systemctl restart mongod.service 重啟 mongodb，這條指令在 mongodb 掛掉時候可以使用
  • systemctl stop mongod.service 停止 mongodb

記錄一下剛學習時命令列下的編輯操作，vim 開啟檔案後，insert 進行編輯，退出編輯 esc，shift+兩下Z。查詢關鍵詞是：/+關鍵詞

3.利用 pip3 安裝 scrapy 等

一般正常順序先pip3 install scrapy，接著肯定會報requirement Twisted>=13.1.0這種錯誤，一次偶然我先pip3 install scrapyd發現安裝上了最新的 Twisted 元件，接著安裝 scrapy也沒再報錯。所以為了省事，避開報錯，建議先安裝 scrapyd。

  • pip3 install scrapyd
  • pip3 install scrapy
  • pip3 install pymongo
  • pip3 install redis
  • pip3 install redis-client

安裝完以上內容，基本能滿足分散式從機的爬取。但是在命令列直接輸入scrapy 和 scrapyd 發現會報錯，提示command not found，這裡可以通過建立軟連結解決問題。

  • find / -name scrapy找到系統中scrapy所在的目錄，選擇在bin目錄下的路徑
  • ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy 這是在我的路徑下建立的軟連結
  • scrapy 命令列再輸入scrapy發現已經可用

scrapyd 建立軟連結的方法與上面一樣，其實在後面加個d就好了（笑）

scrapy 建立軟連結如下

scrapy建立軟連結

scrapyd 建立軟連結如下

這裡寫圖片描述

在開啟了 scrapyd 服務後發現監聽 ip 為本機，想要遠端訪問需要將配置修改一下。先 ctrl+c 退出 scrapyd，開啟 scrapyd 配置檔案所在的資料夾

  • cd /usr/local/python3/lib/python3.6/site-packages/scrapyd
  • ls 列出 scrapyd 資料夾下所有檔案
  • vim default_scrapyd.conf 開啟配置檔案
  • bind_address = 0.0.0.0 將繫結 ip 修改為 0.0.0.0，儲存退出，再在命令列輸入scrapyd會發現監聽 ip 發生了變化。

由於從機的scrapyd需要後臺執行，這裡我採用了setsid scrapyd命令來後臺開啟服務，這樣關閉視窗後仍能進行連線。
需要結束scrapyd程序時，利用ps -ef | grep -i scrapyd檢視PID號，再 kill -9 PID 結束程序。

主機配置

以上完成了從機的配置，接下里配置主機

主機和從機不同在於它需要提供 redis 服務來儲存請求佇列，所以主要是安裝 redis 服務。參考了眾多文章後，還是推薦這篇文章
這裡梳理一下過程：

  • yum install gcc
  • wget http://download.redis.io/releases/redis-3.0.6.tar.gz
  • tar zxvf redis-3.0.6.tar.gz
  • cd redis-3.0.6 建議將資料夾名字修改為redis看著簡潔一些
  • vim redis.conf 開啟 redis 配置檔案
  • #bind 127.0.0.1 將繫結 ip 註釋掉，以便遠端訪問
  • daemonize yes 在 redis.conf 中修改該選項為 yes，即後臺執行
  • requirepass 後加上登陸密碼
  • protected-mode no 關閉保護模式，接著儲存退出
  • mkdir /etc/redis
    cp redis.conf /etc/redis/6379.conf     將 redis.conf 複製一份名為 6379.conf 到指定目錄
  • cd utils 在原redis目錄下開啟utils資料夾
  • vim redis_init_script 修改啟動指令碼，並在開頭新增如下程式碼
    #!/bin/sh
    #chkconfig: 2345 90 10
    #description: Redis is a persistent key-value database
  • cp redis_init_script /etc/init.d/redisd 將啟動指令碼複製為 redis
  • chkconfig redisd on 設定開機啟動
  • service redisd start 啟動 redis
  • service redisd stop 關閉 redis

遇到過的問題

以上內容完成了主機上 redis 服務的搭建，不過在使用過程中，遇到了以下報錯，
MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk.Commands that may modify the data set are disabled. Please check Redis logs for details about the error.

原因是強制關閉 Redis 快照導致不能持久化，我採取了下面解決方法

redis-cli -a 密碼 進入 redis 客戶端，-a 後接之前配置檔案中修改的密碼
127.0.0.1:6379> config set stop-writes-on-bgsave-error no 提示 ok 就可以了

通過主機與從機的搭建，分散式執行的條件有了，本地需要pip install scrapyd-client 安裝 scrapyd 的客戶端外掛，另外由於我用的是 windows 系統，curl 命令需要再去下載，scrapyd-deploy 也是無法直接使用的，後來在 github 上找到了解決辦法

  • 開啟本地 Python\Python36\Scripts 目錄
  • 建立名為scrapyd-deploy.bat 的檔案
  • 寫入"Python\Python36\python.exe" "Python\Python36\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8
    %9

這樣就可以是使用 scrapyd-deploy 了，具體使用請閱讀官方文件 scrapyd scrapyd-client

這裡寫圖片描述

END

這是我第一次寫部落格，難免出錯，歡迎大家指出錯誤 ^_^

相關推薦

在伺服器上搭建scrapy分散式爬蟲環境的過程

這段時間在用 scrapy 爬取大眾點評美食店鋪的資訊，由於準備爬取該網站上全國各個城市的資訊，單機跑效率肯定是跟不上的，所以只能藉助於分散式。scrapy 學習自崔慶才老師的視訊，受益頗多，程式碼簡練易懂，風格清新。這裡梳理一遍從剛申請的伺服器環境配置，pyt

搭建redis-scrapy分散式爬蟲環境

ubuntu上作主機 A . 主機---管理指紋佇列，資料佇列，request隊：redis, 建議不要爬資料。 1臺主機，用ubutnu系統 上課演示的是這臺電腦也爬取，不光要安裝redis, 還要安裝scrapy(先)和scrapy-r

工作環境下Apache Jmeter + ANT +Jenkins 持續整合環境搭建(續)----Linux伺服器上搭建ant和jmeter

接上文https://blog.csdn.net/be_x_man/article/details/80997740 在本地配置好了jmeter和ant之後，還需要將指令碼放在jenkins上執行，所以也需要在jenkins所在的Linux伺服器上搭建jmeter和ant 配置過程基本上和W

搭建hadoop偽分散式叢集環境過程中遇見的問題總結

1、網路配置問題： 在centos7中配置網路環境後，本機（win10系統）與虛擬機器centos7網路不通（本機可以ping通虛擬機器，但是虛擬機器ping不通本機）； 解決方式： 方式1：檢視本機win10系統的防火牆是否關閉，若沒有，直接關閉win10系統的防火牆即可； 方式2

centos7.3中搭建hadoop分散式叢集環境詳細過程

一、準備工作 1、準備3臺物理機或者虛擬機器； 2、安裝centos7系統； 3、準備好相關軟體包並拷貝相關軟體到目標伺服器上 hadoop-2.9.0.tar.gz jdk-8u131-linux-x64.tar.gz 二、配置網路 1、設定靜態網路ip 1）設定靜

如何在伺服器上搭建一個lamp（Linux（CentOS7）+Apache+MySQL+PHP）環境

一、 安裝Apache 1.安裝 yum -y install httpd 1 2.開啟apache服務 systemctl start httpd.service 1 3.設定apache服務開機啟動 systemctl enable httpd.service

Windows Server 2003伺服器上搭建Windows+IIS+ASP.NET+MYSQL環境

一、安裝IIS服務 1. 選擇“開始”→“所有程式”→“管理工具”→“管理您的伺服器”選單命令，啟動“新增或刪除你的角色”對話方塊，單擊兩次“下一步”按鈕，若出現“配置選項”嚮導頁，選擇“自定義配置”單選鈕，單擊“下一步”按鈕。 2. 出現“伺服器角色”嚮導頁，在“伺服器角色”列表中選擇“應用程式伺服器（

linux下在伺服器上配置scrapy框架的python爬蟲，使用mysql資料庫儲存

最近在做把 爬蟲部署到伺服器上，爬下來的資料再存到資料庫裡。 因為伺服器是linux系統的，所以我們事先需要配置一些環境檔案以及依賴的庫 1、裝python 這一步沒啥好說的吧 2、裝pip，然後再用pip裝依賴的庫： pip install pymysql

Centos7.0伺服器上搭建Linux+Apache+php+Mysql環境

一.安裝Linux系統 1.1虛擬機器搭建Linux Centos7.0版本，搭建過程省略。   二. 安裝apache、php、mysql、php-gd等元件。 2.1安裝Apache服務程式(apache服務的軟體包名稱叫做httpd)。 [[email protect

Linux基礎 | 在Linux伺服器上搭建Python3環境

        最近入手了一臺騰訊雲伺服器，感覺花點時間搞一下這玩意，還是很有必要的。總體來說挺方便的，把程式放在伺服器上執行，很省事。不過Linux伺服器預設安裝的Python是2.7版本的，我們需要安裝py3，期間遇到了一系列麻煩事，特此總結。 1）首先我們檢視一下預設

在Linux雲伺服器上搭建環境

將要安裝的軟體放到/usr/home下面 將解壓的安裝檔案複製到/usr/local下面 ------------------------------------------------------------------- 1、安裝JDK ---------------------

在Ubuntu伺服器上搭建django + MySQL環境

1、給root使用者設定密碼的具體步驟，參考這裡：--> 剛申請的伺服器（Ubuntu系統）提供了以下資訊：（1）、訂單號 （2）、預設賬戶和初始密碼 （3）、伺服器名稱 雲主機ID 所在網路ID 內網IP 公網IP--> 連線到伺服器（此處使用SSH），輸入命令【sudo passwd】：# 回

多功能整合環境在windows伺服器上搭建PHP網站案例，在伺服器上搭建PHP網站

文章來源於網路轉載，原作者未知。 伺服器版本：Windows Server 2008 R2 Enterprise 平時搭建PHP網站，可以在linux伺服器上搭建，也可以在windows伺服器上搭建，主要看你個人需求了，今天我們演示的是用PHPWAMP綠色整合環境

在雲伺服器上搭建JSP環境併發布web專案（通過域名訪問自己寫的專案）

一、購買雲伺服器、域名（域名找域名商註冊） 二、準備好jdk.tomcat 版本我用的是jdk1.7+tomcat7 三、裝好JDK+tomcat並配置本地環境 變數 四、專案程式碼部署到tomcat伺服器 五、關閉伺服器的防火牆 做完這五部就OK 一

visual studio 2013上搭建arm交叉編譯環境（四）makefile配置及編譯過程

        上篇文章已經介紹了cygwin測試工程建立和生成的方法，本文在此工程的基礎上，介紹makefile修改及編譯過程。  debug.mak是makefile的配置檔案，此檔案通過makefile中如下語句匯入到makefile中，作為makefile特定變數的

從零搭建Redis-Scrapy分散式爬蟲

Scrapy-Redis分散式策略： 假設有四臺電腦：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一臺電腦都可以作為 Master端 或 Slaver端，比如： Master端(核心伺服器) ：使用 Windows 1

在阿里雲上搭建spark分散式環境。

參考資料：（我覺的參考資料比我的更重要，所以它在前面。）http://www.mak-blog.com/spark-on-yarn-setup-multinode.html張丹陽. 阿里雲實現Spark的分散式計算https://www.cnblogs.com/freeweb

ubuntu18.04上搭建KVM虛擬機器環境超完整過程

看標題這是篇純運維的文章。在中小型企業中，一般很少配置專業的運維人員，都是由開發人員兼著。同時，對有志於技術管理的開發人員來說，多瞭解一些運維及整個軟體生命週期的知識，是很有幫助的，因為帶團隊不僅僅是個管人的活，更多的是在你的部下遇到難題或者無人能上的時候，你能協助他解決或親自上陣，這比只會“吆五

【FastDFS】小夥伴們說在CentOS 8伺服器上搭建FastDFS環境總報錯？

## 寫在前面 > 在【冰河技術】微信公眾號的【分散式儲存】專題中，我們分別搭建了單節點FastDFS環境和高可用FastDFS叢集環境。但是，之前的環境都是基於CentOS 6.8伺服器進行搭建的。很多小夥伴反饋說：自己在CentOS 8伺服器上，按照我寫的文章搭建FastDFS環境時，會失敗！看到

Linux伺服器上搭建測試環境（war包+tomcat）

> 悟空CRM專案環境部署（Java war專案） 1. 在/root目錄下建立一個資料夾（名字自取）。 ![](https://gitee.com/cai_hesheng/caituotuo-image/raw/master/img/20201215143731.png) 2. ls命令檢視一下