Scrapy是基於Python寫的。本來是要安裝Python的，但是現在Linux基本都預設安裝到Python了，所以這步略過。

我本地是Ubuntu，伺服器我裝了CentOS7.2。別問我為啥不用Debian，我瞎選的，沒啥特別理由。

自己私人使用，為了方便，直接是root開幹。

安裝pip包管理

yum install -y python-pip

我覺得這是天朝必備的一個步驟，否則安裝軟體那龜速不忍直視。

mkdir ~/.pip
vim ~/.pip/pip.conf

# 改為如下內容
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com
 

安裝編譯器和開發庫之類的，假如你們也沒安裝的話

yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel

安裝主角Scrapy

pip install scrapy

安裝MySQL-python

Python連線MySQL的模組

easy_install MySQL-python

如果遇到mysql_config not found 
之前的博文有提過這個錯誤，不過是在Ubuntu下的解決方案-安裝libmysqlclient-dev 
然而在CentOS的源中並沒有這個包。而安裝mysql-devel

yum install -y mysql-devel

安裝MySQL資料庫 yum groupinstall mariadb mariadb-client

MariaDB其實可以看做MySQL新版吧，具體緣由自行百度。

安裝redisNoSQL資料庫 
會用到配合bloomfilter做url去重。

yum install -y redis

安裝 BloomFilter 模組

pip install bloomfilter