Python之路【第14章】：Python之快取 RabbitMQ、Redis、Memcache、SQLAlchemy

阿新 • • 發佈：2018-12-14

Python之快取 RabbitMQ、Redis、Memcache、SQLAlchemy

一、Memcached

Memcached 是一個高效能的分散式記憶體物件快取系統，用於動態Web應用以減輕資料庫負載。它通過在記憶體中快取資料和物件來減少讀取資料庫的次數，從而提高動態、資料庫驅動網站的速度。Memcached基於一個儲存鍵/值對的hashmap。其守護程序（daemon ）是用C寫的，但是客戶端可以用任何語言來編寫，並通過memcached協議與守護程序通訊。

1. Memcached安裝和基本使用

Memcached安裝：

wget http://memcached.org/latest
tar  
-zxvf memcached-1.x.x.tar.gz
cd memcached-1.x.x
./configure && make && make test && sudo make install
 
PS：依賴libevent
       yum install libevent-devel
       apt-get install libevent-dev

啟動Memcached：

memcached -d -m 10    -u root -l 10.211.55.4 -p 12000 -c 256 -P /tmp/memcached.pid
 
引數說明:
     
-d 是啟動一個守護程序
    -m 是分配給Memcache使用的記憶體數量，單位是MB
    -u 是執行Memcache的使用者
    -l 是監聽的伺服器IP地址
    -p 是設定Memcache監聽的埠,最好是1024以上的埠
    -c 選項是最大執行的併發連線數，預設是1024，按照你伺服器的負載量來設定
    -P 是設定儲存Memcache的pid檔案

Memcached命令：

儲存命令: set/add/replace/append/prepend/cas
獲取命令: get/gets
其他命令: delete/stats..

2. 安裝API

python操作Memcached使用Python-memcached模組
下載安裝：https: 
//pypi.python.org/pypi/python-memcached

2.1 第一次操作

import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
mc.set("foo", "bar")
ret = mc.get('foo')
print ret

Ps：debug = True 表示執行出現錯誤時，現實錯誤資訊，上線後移除該引數。

2.2 天生支援叢集

python-memcached模組原生支援叢集操作，其原理是在記憶體維護一個主機列表，且叢集中主機的權重值和主機在列表中重複出現的次數成正比

     主機    權重
    1.1.1.1   1
    1.1.1.2   2
    1.1.1.3   1
 
那麼在記憶體中主機列表為：
    host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]

如果使用者根據如果要在記憶體中建立一個鍵值對（如：k1 = "v1"），那麼要執行一下步驟：

根據演算法將 k1 轉換成一個數字
將數字和主機列表長度求餘數，得到一個值 N（ 0 <= N < 列表長度）
在主機列表中根據第2步得到的值為索引獲取主機，例如：host_list[N]
連線將第3步中獲取的主機，將 k1 = "v1" 放置在該伺服器的記憶體中

程式碼實現如下：

mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
 
mc.set('k1', 'v1')

2.3 add

新增一條鍵值對，如果已經存在的 key，重複執行add操作異常

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
mc.add('k1', 'v1')
# mc.add('k1', 'v2') # 報錯，對已經存在的key重複新增，失敗！！！

2.4 replace

replace 修改某個key的值，如果key不存在，則異常

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
# 如果memcache中存在kkkk，則替換成功，否則一場
mc.replace('kkkk','999')

2.5 set 和 set_multi

set 設定一個鍵值對，如果key不存在，則建立，如果key存在，則修改
set_multi 設定多個鍵值對，如果key不存在，則建立，如果key存在，則修改

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
 
mc.set('key0', 'wupeiqi')
 
mc.set_multi({'key1': 'val1', 'key2': 'val2'})

2.6 delete 和 delete_multi

delete 在Memcached中刪除指定的一個鍵值對
delete_multi 在Memcached中刪除指定的多個鍵值對

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
 
mc.delete('key0')
mc.delete_multi(['key1', 'key2'])

2.7 get 和 get_multi

get 獲取一個鍵值對
get_multi 獲取多一個鍵值對

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
 
val = mc.get('key0')
item_dict = mc.get_multi(["key1", "key2", "key3"])

2.8 append 和 prepend

append 修改指定key的值，在該值後面追加內容
prepend 修改指定key的值，在該值前面插入內容

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
# k1 = "v1"
 
mc.append('k1', 'after')
# k1 = "v1after"
 
mc.prepend('k1', 'before')
# k1 = "beforev1after"

2.9 decr 和 incr

incr 自增，將Memcached中的某一個值增加 N （ N預設為1 ）
decr 自減，將Memcached中的某一個值減少 N （ N預設為1 ）

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
 
mc = memcache.Client(['10.211.55.4:12000'], debug=True)
mc.set('k1', '777')
 
mc.incr('k1')
# k1 = 778
 
mc.incr('k1', 10)
# k1 = 788
 
mc.decr('k1')
# k1 = 787
 
mc.decr('k1', 10)
# k1 = 777

2.10 gets 和 cas

如商城商品剩餘個數，假設改值儲存在memcache中，product_count = 900
A使用者重新整理頁面從memcache中讀取到product_count = 900
B使用者重新整理頁面從memcache中讀取到product_count = 900

如果A、B使用者均購買商品

A使用者修改商品剩餘個數 product_count＝899
B使用者修改商品剩餘個數 product_count＝899

如此一來快取內的資料便不在正確，兩個使用者購買商品後，商品剩餘還是 899
如果使用python的set和get來操作以上過程，那麼程式就會如上述所示情況！

如果想要避免此情況的發生，只要使用 gets 和 cas 即可，如：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
mc = memcache.Client(['10.211.55.4:12000'], debug=True, cache_cas=True)
 
v = mc.gets('product_count')
# ...
# 如果有人在gets之後和cas之前修改了product_count，那麼，下面的設定將會執行失敗，剖出異常，從而避免非正常資料的產生
mc.cas('product_count', "899")

Ps：本質上每次執行gets時，會從memcache中獲取一個自增的數字，通過cas去修改gets的值時，會攜帶之前獲取的自增值和memcache中的自增值進行比較，如果相等，則可以提交，如果不想等，那表示在gets和cas執行之間，又有其他人執行了gets（獲取了緩衝的指定值），如此一來有可能出現非正常資料，則不允許修改。

Memcached 真的過時了嗎？

二、Redis

redis是一個key-value儲存系統。和Memcached類似，它支援儲存的value型別相對更多，包括string(字串)、list(連結串列)、set(集合)、zset(sorted set --有序集合)和hash（雜湊型別）。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支援各種不同方式的排序。與memcached一樣，為了保證效率，資料都是快取在記憶體中。區別的是redis會週期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案，並且在此基礎上實現了master-slave(主從)同步。

1. 使用Redis有哪些好處？

(1) 速度快，因為資料存在記憶體中，類似於HashMap，HashMap的優勢就是查詢和操作的時間複雜度都是O(1)

(2) 支援豐富資料型別，支援string，list，set，sorted set，hash

(3) 支援事務，操作都是原子性，所謂的原子性就是對資料的更改要麼全部執行，要麼全部不執行

(4) 豐富的特性：可用於快取，訊息，按key設定過期時間，過期後將會自動刪除


2. redis相比memcached有哪些優勢？

(1) memcached所有的值均是簡單的字串，redis作為其替代者，支援更為豐富的資料型別

(2) redis的速度比memcached快很多

(3) redis可以持久化其資料


3. redis常見效能問題和解決方案：

(1) Master最好不要做任何持久化工作，如RDB記憶體快照和AOF日誌檔案

(2) 如果資料比較重要，某個Slave開啟AOF備份資料，策略設定為每秒同步一次

(3) 為了主從複製的速度和連線的穩定性，Master和Slave最好在同一個區域網內

(4) 儘量避免在壓力很大的主庫上增加從庫

(5) 主從複製不要用圖狀結構，用單向連結串列結構更為穩定，即：Master <- Slave1 <- Slave2 <- Slave3...

這樣的結構方便解決單點故障問題，實現Slave對Master的替換。如果Master掛了，可以立刻啟用Slave1做Master，其他不變。



 

4. MySQL裡有2000w資料，redis中只存20w的資料，如何保證redis中的資料都是熱點資料

 相關知識：redis 記憶體資料集大小上升到一定大小的時候，就會施行資料淘汰策略。redis 提供 6種資料淘汰策略：

voltile-lru：從已設定過期時間的資料集（server.db[i].expires）中挑選最近最少使用的資料淘汰

volatile-ttl：從已設定過期時間的資料集（server.db[i].expires）中挑選將要過期的資料淘汰

volatile-random：從已設定過期時間的資料集（server.db[i].expires）中任意選擇資料淘汰

allkeys-lru：從資料集（server.db[i].dict）中挑選最近最少使用的資料淘汰

allkeys-random：從資料集（server.db[i].dict）中任意選擇資料淘汰

no-enviction（驅逐）：禁止驅逐資料

 

5. Memcache與Redis的區別都有哪些？

1)、儲存方式

Memecache把資料全部存在記憶體之中，斷電後會掛掉，資料不能超過記憶體大小。

Redis有部份存在硬碟上，這樣能保證資料的永續性。

2)、資料支援型別

Memcache對資料型別支援相對簡單。

Redis有複雜的資料型別。


3），value大小

redis最大可以達到1GB，而memcache只有1MB



6. Redis 常見的效能問題都有哪些？如何解決？

 

1).Master寫記憶體快照，save命令排程rdbSave函式，會阻塞主執行緒的工作，當快照比較大時對效能影響是非常大的，會間斷性暫停服務，所以Master最好不要寫記憶體快照。


2).Master AOF持久化，如果不重寫AOF檔案，這個持久化方式對效能的影響是最小的，但是AOF檔案會不斷增大，AOF檔案過大會影響Master重啟的恢復速度。Master最好不要做任何持久化工作，包括記憶體快照和AOF日誌檔案，特別是不要啟用記憶體快照做持久化,如果資料比較關鍵，某個Slave開啟AOF備份資料，策略為每秒同步一次。

 
3).Master呼叫BGREWRITEAOF重寫AOF檔案，AOF在重寫的時候會佔大量的CPU和記憶體資源，導致服務load過高，出現短暫服務暫停現象。

4). Redis主從複製的效能問題，為了主從複製的速度和連線的穩定性，Slave和Master最好在同一個區域網內




7, redis 最適合的場景


Redis最適合所有資料in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢?

       如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
、Redis不僅僅支援簡單的k/v型別的資料，同時還提供list，set，zset，hash等資料結構的儲存。
、Redis支援資料的備份，即master-slave模式的資料備份。
、Redis支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。

（1）、會話快取（Session Cache）

最常用的一種使用Redis的情景是會話快取（session cache）。用Redis快取會話比其他儲存（如Memcached）的優勢在於：Redis提供持久化。當維護一個不是嚴格要求一致性的快取時，如果使用者的購物車資訊全部丟失，大部分人都會不高興的，現在，他們還會這樣嗎？

幸運的是，隨著 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來快取會話的文件。甚至廣為人知的商業平臺Magento也提供Redis的外掛。

（2）、全頁快取（FPC）

除基本的會話token之外，Redis還提供很簡便的FPC平臺。回到一致性問題，即使重啟了Redis例項，因為有磁碟的持久化，使用者也不會看到頁面載入速度的下降，這是一個極大改進，類似PHP本地FPC。

再次以Magento為例，Magento提供一個外掛來使用Redis作為全頁快取後端。

此外，對WordPress的使用者來說，Pantheon有一個非常好的外掛  wp-redis，這個外掛能幫助你以最快速度載入你曾瀏覽過的頁面。

（3）、佇列

Reids在記憶體儲存引擎領域的一大優點是提供 list 和 set 操作，這使得Redis能作為一個很好的訊息佇列平臺來使用。Redis作為佇列使用的操作，就類似於本地程式語言（如Python）對 list 的 push/pop 操作。

如果你快速的在Google中搜索“Redis queues”，你馬上就能找到大量的開源專案，這些專案的目的就是利用Redis建立非常好的後端工具，以滿足各種佇列需求。例如，Celery有一個後臺就是使用Redis作為broker，你可以從這裡去檢視。

（4），排行榜/計數器

Redis在記憶體中對數字進行遞增或遞減的操作實現的非常好。集合（Set）和有序集合（Sorted Set）也使得我們在執行這些操作的時候變的非常簡單，Redis只是正好提供了這兩種資料結構。所以，我們要從排序集合中獲取到排名最靠前的10個使用者–我們稱之為“user_scores”，我們只需要像下面一樣執行即可：

當然，這是假定你是根據你使用者的分數做遞增的排序。如果你想返回使用者及使用者的分數，你需要這樣執行：

ZRANGE user_scores 0 10 WITHSCORES

Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來儲存資料的，你可以在這裡看到。

（5）、釋出/訂閱

最後（但肯定不是最不重要的）是Redis的釋出/訂閱功能。釋出/訂閱的使用場景確實非常多。我已看見人們在社交網路連線中使用，還可作為基於釋出/訂閱的指令碼觸發器，甚至用Redis的釋出/訂閱功能來建立聊天系統！（不，這是真的，你可以去核實）。

Redis提供的所有特性中，我感覺這個是喜歡的人最少的一個，雖然它為使用者提供如果此多功能。

View Code

1. Redis安裝和基本使用

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

啟動伺服器

src/redis-server

啟動客戶端

src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

2.Python操作Redis

sudo pip install redis
or
sudo easy_install redis
or
原始碼安裝
 
詳見：https://github.com/WoLpH/redis-py

3.API使用：

redis-py 的API的使用可以分類為：

連線方式
連線池
操作
- String 操作
- Hash 操作
- List 操作
- Set 操作
- Sort Set 操作
管道
釋出訂閱

3.1操作模式

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的語法和命令，Redis是StrictRedis的子類，用於向後相容舊版本的redis-py。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import redis
 
r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

3.2連線池

redis-py使用connection pool來管理對一個redis server的所有連線，避免每次建立、釋放連線的開銷。預設，每個Redis例項都會維護一個自己的連線池。可以直接建立一個連線池，然後作為引數Redis，這樣就可以實現多個Redis例項共享一個連線池。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import redis
 
pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
 
r = redis.Redis(connection_pool=pool)
r.set('foo', 'Bar')
print r.get('foo')

3.3操作

String操作，redis中的String在在記憶體中按照一個name對應一個value來儲存。如圖：

set(name, value, ex=None, px=None, nx=False, xx=False)

在Redis中設定值，預設，不存在則建立，存在則修改
引數：
     ex，過期時間（秒）
     px，過期時間（毫秒）
     nx，如果設定為True，則只有name不存在時，當前set操作才執行
     xx，如果設定為True，則只有name存在時，崗前set操作才執行

setnx(name, value)

設定值，只有name不存在時，執行設定操作（新增）

setex(name, value, time)

# 設定值
# 引數：
    # time，過期時間（數字秒 或 timedelta物件）

psetex(name, time_ms, value)

# 設定值
# 引數：
    # time_ms，過期時間（數字毫秒 或 timedelta物件）

mset(*args, **kwargs)

批量設定值
如：
    mset(k1='v1', k2='v2')
    或
    mget({'k1': 'v1', 'k2': 'v2'})

get(name)

獲取值

mget(keys, *args)

批量獲取
如：
    mget('ylr', 'wupeiqi')
    或
    r.mget(['ylr', 'wupeiqi'])

getset(name, value)

設定新值並獲取原來的值

getrange(key, start, end)

# 獲取子序列（根據位元組獲取，非字元）
# 引數：
    # name，Redis 的 name
    # start，起始位置（位元組）
    # end，結束位置（位元組）
# 如： "武沛齊" ，0-3表示 "武"

setrange(name, offset, value)

# 修改字串內容，從指定字串索引開始向後替換（新值太長時，則向後新增）
# 引數：
    # offset，字串的索引，位元組（一個漢字三個位元組）
    # value，要設定的值

setbit(name, offset, value)

# 對name對應值的二進位制表示的位進行操作
 
# 引數：
    # name，redis的name
    # offset，位的索引（將值變換成二進位制後再進行索引）
    # value，值只能是 1 或 0
 
# 注：如果在Redis中有一個對應： n1 = "foo"，
        那麼字串foo的二進位制表示為：01100110 01101111 01101111
    所以，如果執行 setbit('n1', 7, 1)，則就會將第7位設定為1，
        那麼最終二進位制則變成 01100111 01101111 01101111，即："goo"
 
# 擴充套件，轉換二進位制表示：
 
    # source = "武沛齊"
    source = "foo"
 
    for i in source:
        num = ord(i)
        print bin(num).replace('b','')
 
    特別的，如果source是漢字 "武沛齊"怎麼辦？
    答：對於utf-8，每一個漢字佔 3 個位元組，那麼 "武沛齊" 則有 9個位元組
       對於漢字，for迴圈時候會按照 位元組 迭代，那麼在迭代時，將每一個位元組轉換 十進位制數，然後再將十進位制數轉換成二進位制
        11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000
        -------------------------- ----------------------------- -----------------------------
                    武                         沛                           齊

getbit(name, offset)

# 獲取name對應的值的二進位制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)

# 獲取name對應的值的二進位制表示中 1 的個數
# 引數：
    # key，Redis的name
    # start，位起始位置
    # end，位結束位置

bitop(operation, dest, *keys)

# 獲取多個值，並將值做位運算，將最後的結果儲存至新的name對應的值
 
# 引數：
    # operation,AND（並） 、 OR（或） 、 NOT（非） 、 XOR（異或）
    # dest, 新的Redis的name
    # *keys,要查詢的Redis的name
 
# 如：
    bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    # 獲取Redis中n1,n2,n3對應的值，然後講所有的值做位運算（求並集），然後將結果儲存 new_name 對應的值中

strlen(name)

# 返回name對應值的位元組長度（一個漢字3個位元組）

incr(self, name, amount=1)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。
 
# 引數：
    # name,Redis的name
    # amount,自增數（必須是整數）
 
# 注：同incrby

incrbyfloat(self, name, amount=1.0)

# 自增 name對應的值，當name不存在時，則建立name＝amount，否則，則自增。
 
# 引數：
    # name,Redis的name
    # amount,自增數（浮點型）

decr(self, name, amount=1)

# 自減 name對應的值，當name不存在時，則建立name＝amount，否則，則自減。
 
# 引數：
    # name,Redis的name
    # amount,自減數（整數）

append(key, value)

# 在redis name對應的值後面追加內容
 
# 引數：
    key, redis的name
    value, 要追加的字串

Hash操作，redis中Hash在記憶體中的儲存格式如下圖：

hset(name, key, value)

# name對應的hash中設定一個鍵值對（不存在，則建立；否則，修改）
 
# 引數：
    # name，redis的name
    # key，name對應的hash中的key
    # value，name對應的hash中的value
 
# 注：
    # hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立（相當於新增）

hmset(name, mapping)

# 在name對應的hash中批量設定鍵值對
 
# 引數：
    # name，redis的name
    # mapping，字典，如：{'k1':'v1', 'k2': 'v2'}
 
# 如：
    # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

hget(name,key)

# 在name對應的hash中獲取根據key獲取value

hmget(name, keys, *args)

# 在name對應的hash中獲取多個key的值
 
# 引數：
    # name，reids對應的name
    # keys，要獲取key集合，如：['k1', 'k2', 'k3']
    # *args，要獲取的key，如：k1,k2,k3
 
# 如：
    # r.mget('xx', ['k1', 'k2'])
    # 或
    # print r.hmget('xx', 'k1', 'k2')

hgetall(name)

獲取name對應hash的所有鍵值

hlen(name)

# 獲取name對應的hash中鍵值對的個數

hkeys(name)

# 獲取name對應的hash中所有的key的值