1. 程式人生 > >安裝python3+pip3+scrapy+redis匯出資料

安裝python3+pip3+scrapy+redis匯出資料

如果刪除了系統上自帶的python, 這裡我把一個python檔案刪除了. 
這裡只需要設定一個軟連線就好了

bin] ln -s /usr/bin/python2.6 /usr/bin/python

Linux會自帶一個Python2的版本, 我的伺服器自帶的是Python2.6.6的版本,這並不影響再次安裝一個新的版本.

我使用的是wget網路傳輸方式下載的Python安裝包.下面是安裝過程: 
安裝包的解壓路徑在 /opt/local 
安裝包的路徑在 /opt/local/installpackage 
1.下載

installpackage]# wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz

2.解壓

local]#  tar -zxf installpackage/Python-3.6.4.tgz
local]#  cd Python-3.6.4.tgz
Python-3.6.4.tgz]#  ll

3.配置

Python-3.6.4.tgz]#  ./configure --prefix=/usr/bin/python3.6.4

系統預設的python路徑就在/usr/bin目錄下面, 可以看到python. python2 -> python, python2.6 幾個關於python的東西

4.安裝

Python-3.6.4.tgz]#  make
Python-3.6.4.tgz]#  make install

安裝完成之後可以跳到安裝目錄下面看看

cd /usr/bin/python3.6.4

下面有bin lib 等幾個目錄, 到bin目錄下可以看到一個python3 的二進位制編碼檔案, 之後會用到

5.配置軟連線(python2 -> python 就是軟連線, 我們也需要配製成這樣)

Python-3.6.4.tgz]#  ln -s /usr/bin/python3.6.4/bin/python3 /usr/bin/python3

/usr/bin/python3.6.4/bin/python3這個是你安裝的python所在的路徑, 安裝路徑在第三步驟

python3檢視是否安裝成功

6.配置pip 
跳轉到cd /usr/bin/python3.6.4/bin

 bin]# ls
2to3  2to3-3.6  easy_install-3.6  idle3  idle3.6  pip3  pip3.6  pydoc3  pydoc3.6  python3  python3.6  python3.6-config  python3.6m  python3.6m-config  python3-config  pyvenv  pyvenv-3.6

可以看到裡面有pip3.和pip3.6,

設定pip3的軟連線

bin]# cp pip3 /usr/bin
bin]# cp pip3.6 /usr/bin

pip3檢視pip是否配置成功

------------------------------------------------------------------------------------------------------------------------------------------------------------------

接下來安裝scrapy

pip3 install scrapy

安裝完成後,用import scrapy檢視是否安裝完成

最後建立軟連線

ln -s /usr/bin/python3.6.4/bin/scrapy  /usr/bin/scrapy

沒有建立的話會報錯-bash: scrapy: command not found

-------------------------------------------------------------------------------------------------------------------------------------------------------------------

安裝和使用方法文件上寫了,如果安裝完成找不到rdb命令的話,直接在安裝目錄下執行也可以:

pip install rdbtools python-lzf
rdb -c memory /usr/local/dump.rdb > result.csv
database type key size_in_bytes encoding num_elements len_largest_element
0 string "cccc" 98 string 4 4
0 string "bbb" 96 string 3 3
0 hash "user" 102 ziplist 1 6
0 string "aa" 94 string 2 2

結果列中的sizeinbytes就是你要的大小,匯出後自己排下序就可以了。另外,注意修改你自己dump.rdb的檔案路徑。對於資料量太大的情況我沒測試過,分析估計會比較慢。

相關推薦

安裝python3+pip3+scrapy+redis匯出資料

如果刪除了系統上自帶的python, 這裡我把一個python檔案刪除了.  這裡只需要設定一個軟連線就好了 bin] ln -s /usr/bin/python2.6 /usr/bin/python Linux會自帶一個Python2的版本, 我的伺服器自帶的是Pyth

[筆記]centos7編譯安裝python3pip3

entos ins body arch ftp centos7 -a wget get 1004 cd / 1005 ls 1006 cd usr 1007 cd bin 1008 ls 1009 ls python* 1010 ls -al p

centos7安裝python3 pip3

一:基本環境 系統版本 centos7.3 python版本 使用官方python3.6.5正式版 二:開始部署 1、安裝各類基礎模組 yum gcc-c++ (為centos系統增加編譯功能) yum install wget openssl-devel bzip2

Centos7下成功安裝python3scrapy爬蟲

1、安裝python3(保留python2) (1)原始碼編譯前準備 [root@hadron ~]# yum -y groupinstall "Development tools" [root@hadron ~]# yum -y install

centos6 安裝python3 pip3

本文第一部分主要參考CentOS 7 安裝 Python3、pip3,但在搬瓦工VPS的centos6下這樣安裝無法pip3。 安裝pip3會提示缺少setuptools,安裝setuptool會提示缺少庫_ctypes.so 一、安裝 Python 3 1.1 安裝準

CentOS安裝python3scrapy

當伺服器在做資料遷移的時候,老是要安裝相關的scrapy軟體,今天來整理一下。 安裝依賴 yum update -y yum groupinstall 'Development Too

win7安裝python3.6.1及scrapy

2-2 們的 obj rom 控制 first iter html studio ---恢復內容開始--- 第一篇博客,記錄自己自學python的過程及問題。 首先下載python3.6.1及所需資料 百度雲:https://pan.baidu.com/s/1geOEp6z

Python3.5下安裝&測試Scrapy

版本過低 如果 ems 編寫 esp bsp 分享圖片 spi 基礎 1、引言   Scrapy框架結構清晰,基於twisted的異步架構可以充分利用計算機資源,是做爬蟲必備基礎,本文將對Scrapy的安裝作介紹。 2、安裝lxml   2.1 下載地址:https://

Scrapy-Redis安裝和使用

org adt tps 擴展模塊 pytho 方便 imp scrapy ins Scrapy-Redis是Scrapy的分布式擴展模塊,有了它,我們就可以方便地實現Scrapy分布式爬蟲的搭建。GitHub:https://github.com/rmax/scrapy-r

Centos7下安裝Python3+scrapy以及填坑

1.安裝支援管理工具 [[email protected] ~]# yum -y groupinstall "Development tools" 2.支援庫的安裝 [[email protected]

Ubuntu系統下,pip3安裝python3的pymysql包 報錯的問題

sudo pip3 list  檢視安裝的包列表 如上圖, pip升級到18.1版本. 使用pip3 出現以下錯誤: Traceback (most recent call last): File “/usr/bin/pip3”, line 9, in from pip

python3爬蟲之安裝和使用scrapy

環境:win10-64位、python3.6 安裝依賴 安裝lxml pip install lxml 安裝zope.interface pip install zope.interface 安裝wheel pip inatall whee

Scrapy-redis 安裝配置使用

art serve http span spa redis服務器 服務器端 rap col # 安裝redis服務器端 sudo apt-get install redis-server # 安裝scrapy和scrapy-redis庫 pip i

資料學習之路-Centos6安裝python3.5

Centos 6.8安裝python3.5.2 因為學習所需,需要用到python3.x的環境,目前Linux系統預設的版本都是python2.x的,還有一些自帶的工具需要用到python2.6版本,所以要求的是python3 和 python2 共存,pip2 和** pip3共存,如何安裝

Python - 保留了預設2.6,安裝python3之後如何使用pip3並匯入模組到python3,pyperclip為例

很多人在剛學python時就被告知python2在2020年之後就不會被維護了,所以大家都會選擇python3。我也是。 安裝python3的時候,又害怕刪除原有的預設python2版本會影響系統。所以我選擇了安裝python3,並保留python2。 以上是沒有什麼問題。 但是今天看書

CentOS 安裝Python3pip3 centos7安裝python3.6和pip3

centos7安裝python3.6和pip3 1.yum -y install epel-release 2..執行成功之後,再次執行yum install python-pip 3.對安裝好的pip進行升級 pip install –upgrade pip (注意是兩個短橫線~~) 到這裡pip

python3爬蟲】Scrapy Win10下安裝與新建Scrapy專案

詳細安裝教程可參考: http://www.runoob.com/w3cnote/scrapy-detail.html https://segmentfault.com/a/1190000013178839 其他教程: https://oner-wv.gitbooks.io/sc

安裝python3安裝pip3

python是一門高階編譯語言,這麼語言可以讓你做一些運維平臺,是因為他可以執行linux中的命令,讓你實現自動化和半自動話,s 在運維開發這方面的話,就相當於把shell和java給結合了一下,java不支援linux命令,shell不支援介面華的執行。而python可以編寫成web網站,寫一些指令碼,這

Centos下安裝python3pip3

有大半年沒摸linux了,遇到2個問題,先記錄一下 1.掛載cdrom VM -設定-CD / DVD/ ios映象 選centos安裝包, mount -t auto /dev/cdrom /mnt/cdrom ,然後進入/mnt/cdrom/package 可以安裝各種rpm包 rp

centos python2.x環境下正確安裝python3並且配置pip3

wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz tar -xf Python-3.6.1.tgz cd Python-3.6.1 yum install gcc-c++ yum install pcre pcre