scrapy分散式碰到的一些問題和解決方案

阿新 • • 發佈：2019-02-18

在這裡插入圖片描述

1. scrapy多個items類piplines如何分別儲存

見簡書，用if isinstance(item, items.py裡面的類)進行判斷就可以了。

2. Linux安裝Scrapy

linux: ubuntu16.04-64bit
python: 3.5.2

2.1 安裝環境

sudo apt-get install build-essential
sudo apt-get install python3-dev
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python3-setuptools

sudo apt-get install libssl-dev
apt-get install libffi-dev

2.2 安裝Scrapy: [scrapy執行必備元件需要(OpenSSL, lxml(lxml一般預設有安裝，可以import xml驗證是否有安裝))]

sudo python3 -m pip install Scrapy

2.3 安裝OpenSSL:

sudo python3 -m pip install pyopenssl

2.4 重新安裝python3版本的這兩個軟體:

sudo apt-get install python3-dev
sudo apt-get install python3-setuptools

2’ 教學視訊講解的安裝的方法

2.1 安裝作業系統級的配置

sudo apt-get install python3-dev build-essential python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
如果出錯 unable to fetch some archieve,maybe run apt-get update or...，可能太舊了，更新下 
su
apt-get update
再執行命令

2.2 安裝專案依賴的包

windows寫好的scrapy檔案

cmd到檔案目錄
將安裝的包都凍結，重定向到專案下的requirements.txt檔案中
pip freeze > requirements.txt

2.3 xshell讀取包內容

sz
rz 
找到檔案傳輸
安裝包
pip install virtualenvwrapper
mkvirtualenv -p /usr/bin/python3 crawler-env # 自己寫的虛擬環境名字
建立虛擬環境後自動進入
pip install -r requirements.txt 
一次性把依賴的包全部安裝完成
會報錯找不到pywin32包，進入檔案刪掉這個包就可以了，再安裝就可以

3. xshell伺服器拒絕密碼

想著可能自己忘記密碼了，答案見3.1，都是淚
參考百度知道
問題解決不了，沒辦法解除安裝重新安裝
答案：通過看YouTube視訊，解決了該問題，原來使用者名稱和密碼都是自己在Ubuntu設的，蠢哭了><

4. 切換root顯示su:認證失敗

sudo passwd
更新密碼
重新執行就好了

5. pip install virtualenvwrapper出錯

錯誤型別：/usr/bin/pip: 行 11: 未預期的符號 __main__._main' 附近有語法錯誤 /usr/bin/pip: 行 11: sys.exit(main._main())’

解決方法：獲得root許可權

python3 -m pip install xxxx

安裝完

[email protected]:~# vim .bashrc
[email protected]:~# source ~/.bashrc
/usr/bin/python: No module named virtualenvwrapper
virtualenvwrapper.sh: There was a problem running the initialization hooks.

If Python could not import the module virtualenvwrapper.hook_loader,
check that virtualenvwrapper has been installed for
VIRTUALENVWRAPPER_PYTHON=/usr/bin/python and that PATH is
set properly.

python安裝位置 /usr/bin
vitualenvwrapper /usr/local/lib/python3.5/dist-packages
進入虛擬環境步驟：

source ~/.bashrc
mkvirtualenv -p /usr/bin/python3 crawler-env
sz
rz
pip install -r requirements.txt

6.mkvirtualenv：未找到命令

先嚐試下切換成root，輸入之前的命令，如果不行，再嘗試以下方法
1.升級python包管理工具pip

pip install --upgrade pip備註：當你想升級一個包的時候 pip install --upgrade 包名

2.python虛擬環境安裝

sudo apt-get install python-virtualenvsudo easy_install virtualenvwrapper

上述工具裝好後找不到mkvirtualenv命令，需要執行以下環境變數設定。

1.建立目錄用來存放虛擬環境 mkdir \$HOME/.virtualenvs
2.在~/.bashrc中新增行：

export WORKON_HOME=$HOME/.virtualenvs    
source /usr/local/bin/virtualenvwrapper.sh

3.執行: source ~/.bashrc

3.建立python虛擬環境

mkvirtualenv [虛擬環境名稱]workon [虛擬環境名稱]

4.退出虛擬環境離開 deactivate

6.2 windows虛擬環境的安裝和配置

挖坑待填

7.改造為scrapy-redis

7.1 在spider裡面修改

from scrapy_redis.spiders import RedisSpider
class SfwSpider(RedisSpider):

7.2 將爬蟲的start_urls刪掉，增加redis_key=“xxx”

redis_key作用就是在redis中控制爬蟲啟動，爬蟲的第一個url就是在redis中通過這個傳送的

    # start_urls = ['http://www.fang.com/SoufunFamily.htm']
    redis_key = "fang:start_urls"

7.3 修改配置檔案

7.3.1 網路上搜集得到的

#啟用Redis排程儲存請求佇列

SCHEDULER="scrapy_redis.scheduler.Scheduler"

#確保所有的爬蟲通過Redis去重

DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"

#預設請求序列化使用的是pickle 但是我們可以更改為其他類似的。PS：這玩意兒2.X的可以用。3.X的不能用

#SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"

#不清除Redis佇列、這樣可以暫停/恢復 爬取

#SCHEDULER_PERSIST = True

#使用優先順序排程請求佇列 （預設使用）

#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

#可選用的其它佇列

#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'

#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'

#最大空閒時間防止分散式爬蟲因為等待而關閉

#SCHEDULER_IDLE_BEFORE_CLOSE = 10

#將清除的專案在redis進行處理

ITEM_PIPELINES={

'scrapy_redis.pipelines.RedisPipeline':300

}

#序列化專案管道作為redis Key儲存

#REDIS_ITEMS_KEY = '%(spider)s:items'

#預設使用ScrapyJSONEncoder進行專案序列化

#You can use any importable path to a callable object.

#REDIS_ITEMS_SERIALIZER = 'json.dumps'

#指定連線到redis時使用的埠和地址（可選）

#REDIS_HOST = 'localhost'

#REDIS_PORT = 6379

#指定用於連線redis的URL（可選）

#如果設定此項，則此項優先順序高於設定的REDIS_HOST 和 REDIS_PORT

#REDIS_URL = 'redis://user:[email protected]:9001'

#自定義的redis引數（連線超時之類的）

#REDIS_PARAMS  = {}

#自定義redis客戶端類

#REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient'

#如果為True，則使用redis的'spop'進行操作。

#如果需要避免起始網址列表出現重複，這個選項非常有用。開啟此選項urls必須通過sadd新增，否則會出現型別錯誤。

#REDIS_START_URLS_AS_SET = False

#RedisSpider和RedisCrawlSpider預設 start_usls 鍵

#REDIS_START_URLS_KEY = '%(name)s:start_urls'

#設定redis使用utf-8之外的編碼

#REDIS_ENCODING = 'latin1'

7.3.2 實踐中需要的

# Scrapy-Redis相關的配置：
# 確保request儲存到redis中
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 確保所有爬蟲共享相同的去重指紋
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 設定redis為item pipeline
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300
}
#不清除Redis佇列、這樣可以暫停/恢復 爬取
SCHEDULER_PERSIST = True

# 設定連結redis資訊
REDIS_HOST = '192.168.252.1'
REDIS_PORT = 6379

7.4

專案打包，Linux虛擬環境下解包，

sz rz

進入spider目錄

scrapy runspider sfw

開始監聽狀態
主機開啟redis-cli
推入一個開始的url連結

λ redis-cli
127.0.0.1:6379> lpush fang:start_urls http://www.fang.com/SoufunFamily.htm

8.redis

8.1 Linux的redis下載

下載地址
官網直接有下載安裝步驟
或者觀看菜鳥教程

8.2 配置其他機器連線本機

8.2.1 視訊教學得到

需要修改本機的redis.conf的配置檔案，將bind改為bind[自己的ip地址或者0.0.0.0]
注意：bind的是本機網絡卡的ip地址，而不是想讓其他機器連線的ip地址。
redis.conf
如何扎到Ubuntu的redis.conf
slave端無需啟動redis-server，Master端啟動即可。只要slave端取到Master的redis資料庫，就表示連線成功，可以分散式。

8.2.2下邊是自己實踐：

老是報錯：Redis protected-mode 配置檔案沒有真正啟動

檢視主機和虛擬機器能否互相ping通，最開始自己忽略了，主機能ping通虛擬機器，但是虛擬機器ping不通主機
解決方案： windows的防火牆沒有開啟ICMPv4-in這個規則，防火牆→高階→入站規則→配置檔案型別為“公用”的“檔案和列印共享（回顯請求 – ICMPv4-In）”規則，設定為允許。
修改主機的redis.conf 進入檔案sudo vim /etc/redis/redis.conf
- bind 127.0.0.1改為 #bind 127.0.0.1
- protected-mode yes 改為 protected-mode no
- 加入 daemonize no(這個是是否在後臺啟動不佔用一個主程視窗)
- 如果需要設定密碼，requirepass foobared修改個強度高的密碼
啟動服務的時候需要將配置檔案作為引數,例如:

D:\pythonic\redis
    λ redis-server.exe redis.windows.conf