安裝 CentOs 系統 及 Python 及 Scrapy 框架
1: 先安裝Centos 系統:
為什麽選擇CentOs系統,而不選擇Ubuntu ?
我在Ubuntu上嘗試了三次安裝 python 和 Scrapy ,結果都沒成功,在運維老王的建議下 使用CentOs ;
( 忍不住吐槽一下,python 安裝包 依賴包 安裝起來 真費勁! )
2: CentOs安裝過程
整體安裝過程比較順利 , 比Ubuntu 簡單多了 ; 我選擇了一個mini的ios 安裝之後 也沒有 桌面環境 , 挺好 ,符合需求.
安裝好之後的界面: 命令行環境 , 挺好 .
3: 使用MobaXterm SSH 工具來鏈接 CentOs
需要知道CentOs系統的ip地址 :
那就去查 ifconfig -a 結果呢 這個命令沒有 ,可以理解 因為裝的是 mini os 一些沒有可以理解 ,沒有就自己去安裝唄;
CentOS 7最小化安裝後找不到‘ifconfig’命令——修復小提示
CentOS7用yum安裝軟件提示 cannot find a valid baseurl for repobase7x86_64
上面這兩條都用的著 也測試過 可以使用 ;
鏈接上之後 如下圖所示:
4 接下來就看看 安裝 python 順利不?
安裝python 之前先看一下 系統有沒有自帶python
看來 他 自帶的是 python 2.7 ; 我這裏需要的是 python 3.6
那就自己安裝 python3.6 並設為系統默認的
下面方法只能用於centos7 或者el7內核
yum -y update
yum -y install https://centos7.iuscommunity.org/ius-release.rpm
安裝最新版本Python3.6.x
yum -y install ncurses-devel gdbm-devel xz-devel tk-devel
yum -y install gcc openssl-devl mysql-devl zlib-devl
yum -y install python36u python36u-libs python36u-pip python36u-devel
創建軟鏈接
ln -s /usr/bin/python3.6 /usr/bin/python3
ln -s /usr/bin/pip3.6 /usr/bin/pip3
pip3 install --upgrade pip
另外Python 3.6 可直接使用 python3 -m venv venv_name 創建虛擬環境
下面就先創建一個虛擬環境
python3 -m venv scrapy_venv
激活虛擬環境
source /opt/python_venv/scrapy_venv/bin/activate
pip install -r requirement.txt
下面文件: requirement.txt
asn1crypto==0.24.0 attrs==17.4.0 Automat==0.6.0 certifi==2018.1.18 cffi==1.11.5 chardet==3.0.4 constantly==15.1.0 cryptography==2.1.4 cssselect==1.0.3 hyperlink==18.0.0 idna==2.6 incremental==17.5.0 lxml==4.1.1 numpy==1.14.1 opencv-python==3.4.0.12 parsel==1.4.0 Pillow==5.0.0 pyasn1==0.4.2 pyasn1-modules==0.2.1 pycparser==2.18 PyDispatcher==2.0.5 PyMySQL==0.8.0 pyOpenSSL==17.5.0 pytesseract==0.2.0 python-logstash==0.4.6 qiniu==7.2.0 queuelib==1.4.2 redis==2.10.6 requests==2.18.4 Scrapy==1.5.0 scrapy-splash==0.7.2 scrapyd-client==1.1.0 service-identity==17.0.0 six==1.11.0 Twisted==17.9.0 urllib3==1.22 w3lib==1.19.0 zope.interface==4.4.3
至此 基本上完成了 .
安裝 CentOs 系統 及 Python 及 Scrapy 框架