1. 程式人生 > >Redis快取資料庫基本介紹

Redis快取資料庫基本介紹

介紹
redis是業界主流的key-value nosql 資料庫之一。和Memcached類似,它支援儲存的value型別相對更多,包括string(字串)、list(連結串列)、set(集合)、zset(sorted set –有序集合)和hash(雜湊型別)。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支援各種不同方式的排序。與memcached一樣,為了保證效率,資料都是快取在記憶體中。區別的是redis會週期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案,並且在此基礎上實現了master-slave(主從)同步。

Redis優點
異常快速 : Redis是非常快的,每秒可以執行大約110000設定操作,81000個/每秒的讀取操作。
支援豐富的資料型別 : Redis支援最大多數開發人員已經知道如列表,集合,可排序集合,雜湊等資料型別。
這使得在應用中很容易解決的各種問題,因為我們知道哪些問題處理使用哪種資料型別更好解決。
操作都是原子的 : 所有 Redis 的操作都是原子,從而確保當兩個客戶同時訪問 Redis 伺服器得到的是更新後的值(最新值)。

MultiUtility工具:Redis是一個多功能實用工具,可以在很多如:快取,訊息傳遞佇列中使用(Redis原生支援釋出/訂閱),在應用程式中,如:Web應用程式會話,網站頁面點選數等任何短暫的資料;
安裝Redis環境
要在 Ubuntu 上安裝 Redis,開啟終端,然後輸入以下命令:

$sudo apt-get update
$sudo apt-get install redis-server

這將在您的計算機上安裝Redis
啟動 Redis

$redis-server

檢視 redis 是否還在執行

$redis-cli

這將開啟一個 Redis 提示符,如下圖所示:

redis 127.0.0.1:6379>

在上面的提示資訊中:127.0.0.1 是本機的IP地址,6379是 Redis 伺服器執行的埠。現在輸入 PING 命令,如下圖所示:

redis 127.0.0.1:6379> ping
PONG

這說明現在你已經成功地在計算機上安裝了 Redis。

Python操作Redis

sudo pip install redis
or
sudo easy_install redis
or

在Ubuntu上安裝Redis桌面管理器
要在Ubuntu 上安裝 Redis桌面管理,可以從 http://redisdesktop.com/download 下載包並安裝它。
Redis 桌面管理器會給你使用者介面來管理 Redis 鍵和資料。

Redis API使用
redis-py 的API的使用可以分類為:

連線方式
連線池
操作
String 操作
Hash 操作
List 操作
Set 操作
Sort Set 操作
管道
釋出訂閱

連線方式
1、操作模式
redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令,StrictRedis用於實現大部分官方的命令,並使用官方的語法和命令,Redis是StrictRedis的子類,用於向後相容舊版本的redis-py。

import redis
r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

連線池

redis-py使用connection pool來管理對一個redis server的所有連線,避免每次建立、釋放連線的開銷。預設,每個Redis例項都會維護一個自己的連線池。可以直接建立一個連線池,然後作為引數Redis,這樣就可以實現多個Redis例項共享一個連線池。

操作

  1. String操作
    redis中的String在在記憶體中按照一個name對應一個value來儲存。如圖:
set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中設定值,預設,不存在則建立,存在則修改
引數:
     ex,過期時間(秒)
     px,過期時間(毫秒)
     nx,如果設定為True,則只有name不存在時,當前set操作才執行
     xx,如果設定為True,則只有name存在時,崗前set操作才執行
setnx(name, value)
設定值,只有name不存在時,執行設定操作(新增)
setex(name, value, time)
 設定值
引數:
time,過期時間(數字秒 或 timedelta物件)


psetex(name, time_ms, value)

# 設定值
# 引數:
 # time_ms,過期時間(數字毫秒 或 timedelta物件)

mset(*args, **kwargs)
批量設定值
如:
    mset(k1='v1', k2='v2')
    或
    mget({'k1': 'v1', 'k2': 'v2'})

get(name)
獲取值
mget(keys, *args)

批量獲取
如:
    mget('ylr', 'wupeiqi')
    或
    r.mget(['ylr', 'wupeiqi'])
getset(name, value)


設定新值並獲取原來的值
getrange(key, start, end)

# 獲取子序列(根據位元組獲取,非字元)
# 引數:
    # name,Redis 的 name
    # start,起始位置(位元組)
    # end,結束位置(位元組)
# 如: "武沛齊" ,0-3表示 "武"
setrange(name, offset, value)

# 修改字串內容,從指定字串索引開始向後替換(新值太長時,則向後新增)
# 引數:
    # offset,字串的索引,位元組(一個漢字三個位元組)
    # value,要設定的值
setbit(name, offset, value)

# 對name對應值的二進位制表示的位進行操作

# 引數:
    # name,redis的name
    # offset,位的索引(將值變換成二進位制後再進行索引)
    # value,值只能是 1 或 0

# 注:如果在Redis中有一個對應: n1 = "foo",
        那麼字串foo的二進位制表示為:01100110 01101111 01101111
    所以,如果執行 setbit('n1', 7, 1),則就會將第7位設定為1,
        那麼最終二進位制則變成 01100111 01101111 01101111,即:"goo"

# 擴充套件,轉換二進位制表示:

    # source = "武沛齊"
    source = "foo"

    for i in source:
        num = ord(i)
        print bin(num).replace('b','')

    特別的,如果source是漢字 "武沛齊"怎麼辦?
    答:對於utf-8,每一個漢字佔 3 個位元組,那麼 "武沛齊" 則有 9個位元組
       對於漢字,for迴圈時候會按照 位元組 迭代,那麼在迭代時,將每一個位元組轉換 十進位制數,然後再將十進位制數轉換成二進位制
        11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000
        -------------------------- ----------------------------- -----------------------------
*用途舉例,用最省空間的方式,儲存線上使用者數及分別是哪些使用者線上


getbit(name, offset)

# 獲取name對應的值的二進位制表示中的某位的值 (0或1)
bitcount(key, start=None, end=None)

# 獲取name對應的值的二進位制表示中 1 的個數
# 引數:
    # key,Redis的name
    # start,位起始位置
    # end,位結束位置
strlen(name)

# 返回name對應值的位元組長度(一個漢字3個位元組)
incr(self, name, amount=1)

# 自增 name對應的值,當name不存在時,則建立name=amount,否則,則自增。

# 引數:
    # name,Redis的name
    # amount,自增數(必須是整數)

# 注:同incrby
incrbyfloat(self, name, amount=1.0)

# 自增 name對應的值,當name不存在時,則建立name=amount,否則,則自增。

# 引數:
    # name,Redis的name
    # amount,自增數(浮點型)
decr(self, name, amount=1)

# 自減 name對應的值,當name不存在時,則建立name=amount,否則,則自減。

# 引數:
    # name,Redis的name
    # amount,自減數(整數)
append(key, value)

# 在redis name對應的值後面追加內容

# 引數:
    key, redis的name
    value, 要追加的字串
  1. Hash操作
    hash表現形式上有些像pyhton中的dict,可以儲存一組關聯性較強的資料 , redis中Hash在記憶體中的儲存格式如下圖:  
hset(name, key, value)

# name對應的hash中設定一個鍵值對(不存在,則建立;否則,修改)

# 引數:
    # name,redis的name
    # key,name對應的hash中的key
    # value,name對應的hash中的value

# 注:
    # hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立(相當於新增)
hmset(name, mapping)
# 在name對應的hash中批量設定鍵值對

# 引數:
    # name,redis的name
    # mapping,字典,如:{'k1':'v1', 'k2': 'v2'}

# 如:
    # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})
hget(name,key)


# 在name對應的hash中獲取根據key獲取value
hmget(name, keys, *args)

# 在name對應的hash中獲取多個key的值

# 引數:
    # name,reids對應的name
    # keys,要獲取key集合,如:['k1', 'k2', 'k3']
    # *args,要獲取的key,如:k1,k2,k3

# 如:
    # r.mget('xx', ['k1', 'k2'])
    # 或
    # print r.hmget('xx', 'k1', 'k2')
hgetall(name)

獲取name對應hash的所有鍵值
hlen(name)

# 獲取name對應的hash中鍵值對的個數
hkeys(name)

# 獲取name對應的hash中所有的key的值
hvals(name)

# 獲取name對應的hash中所有的value的值
hexists(name, key)

# 檢查name對應的hash是否存在當前傳入的key
hdel(name,*keys)

# 將name對應的hash中指定key的鍵值對刪除
hincrby(name, key, amount=1)

# 自增name對應的hash中的指定key的值,不存在則建立key=amount
# 引數:
    # name,redis中的name
    # key, hash對應的key
    # amount,自增數(整數)
hincrbyfloat(name, key, amount=1.0)

# 自增name對應的hash中的指定key的值,不存在則建立key=amount

# 引數:
    # name,redis中的name
    # key, hash對應的key
    # amount,自增數(浮點數)

# 自增name對應的hash中的指定key的值,不存在則建立key=amount
hscan(name, cursor=0, match=None, count=None)

Start a full hash scan with:

HSCAN myhash 0

Start a hash scan with fields matching a pattern with:

HSCAN myhash 0 MATCH order_*

Start a hash scan with fields matching a pattern and forcing the scan command to do more scanning with:

HSCAN myhash 0 MATCH order_* COUNT 1000

# 增量式迭代獲取,對於資料大的資料非常有用,hscan可以實現分片的獲取資料,並非一次性將資料全部獲取完,從而放置記憶體被撐爆

# 引數:
    # name,redis的name
    # cursor,遊標(基於遊標分批取獲取資料)
    # match,匹配指定key,預設None 表示所有的key
    # count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數

# 如:
    # 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
    # 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
    # ...
    # 直到返回值cursor的值為0時,表示資料已經通過分片獲取完畢

hscan_iter(name, match=None, count=None)

# 利用yield封裝hscan建立生成器,實現分批去redis中獲取資料

# 引數:
    # match,匹配指定key,預設None 表示所有的key
    # count,每次分片最少獲取個數,預設None表示採用Redis的預設分片個數

# 如:
    # for item in r.hscan_iter('xx'):
    #     print item
  1. list
    List操作,redis中的List在在記憶體中按照一個name對應一個List來儲存。如圖:  


lpush(name,values)

# 在name對應的list中新增元素,每個新的元素都新增到列表的最左邊

# 如:
    # r.lpush('oo', 11,22,33)
    # 儲存順序為: 33,22,11

# 擴充套件:
    # rpush(name, values) 表示從右向左操作
lpushx(name,value)

# 在name對應的list中新增元素,只有name已經存在時,值新增到列表的最左邊

# 更多:
    # rpushx(name, value) 表示從右向左操作
llen(name)

# name對應的list元素的個數
linsert(name, where, refvalue, value))


# 在name對應的列表的某一個值前或後插入一個新值

# 引數:
    # name,redis的name
    # where,BEFORE或AFTER
    # refvalue,標杆值,即:在它前後插入資料
    # value,要插入的資料
r.lset(name, index, value)

# 對name對應的list中的某一個索引位置重新賦值

# 引數:
    # name,redis的name
    # index,list的索引位置
    # value,要設定的值
r.lrem(name, value, num)

# 在name對應的list中刪除指定的值

# 引數:
    # name,redis的name
    # value,要刪除的值
    # num,  num=0,刪除列表中所有的指定值;
           # num=2,從前到後,刪除2個;
           # num=-2,從後向前,刪除2個
lpop(name)

# 在name對應的列表的左側獲取第一個元素並在列表中移除,返回值則是第一個元素

# 更多:
    # rpop(name) 表示從右向左操作
lindex(name, index)

在name對應的列表中根據索引獲取列表元素
lrange(name, start, end)

# 在name對應的列表分片獲取資料
# 引數:
    # name,redis的name
    # start,索引的起始位置
    # end,索引結束位置
ltrim(name, start, end)

# 在name對應的列表中移除沒有在start-end索引之間的值
# 引數:
    # name,redis的name
    # start,索引的起始位置
    # end,索引結束位置
rpoplpush(src, dst)

# 從一個列表取出最右邊的元素,同時將其新增至另一個列表的最左邊
# 引數:
    # src,要取資料的列表的name
    # dst,要新增資料的列表的name
blpop(keys, timeout)

# 將多個列表排列,按照從左到右去pop對應列表的元素

# 引數:
    # keys,redis的name的集合
    # timeout,超時時間,當元素所有列表的元素獲取完之後,阻塞等待列表內有資料的時間(秒), 0 表示永遠阻塞

# 更多:
    # r.brpop(keys, timeout),從右向左獲取資料
brpoplpush(src, dst, timeout=0)

# 從一個列表的右側移除一個元素並將其新增到另一個列表的左側

# 引數:
    # src,取出並要移除元素的列表對應的name
    # dst,要插入元素的列表對應的name
    # timeout,當src對應的列表中沒有資料時,阻塞等待其有資料的超時時間(秒),0 表示永遠阻塞

4.set集合操作
Set操作,Set集合就是不允許重複的列表

sadd(name,values)

# name對應的集合中新增元素
scard(name)

獲取name對應的集合中元素個數
sdiff(keys, *args)

在第一個name對應的集合中且不在其他name對應的集合的元素集合
sdiffstore(dest, keys, *args)

# 獲取第一個name對應的集合中且不在其他name對應的集合,再將其新加入到dest對應的集合中
sinter(keys, *args)

# 獲取多一個name對應集合的並集
sinterstore(dest, keys, *args)

# 獲取多一個name對應集合的並集,再講其加入到dest對應的集合中
sismember(name, value)

# 檢查value是否是name對應的集合的成員
smembers(name)

# 獲取name對應的集合的所有成員
smove(src, dst, value)

# 將某個成員從一個集合中移動到另外一個集合
spop(name)

# 從集合的右側(尾部)移除一個成員,並將其返回
srandmember(name, numbers)

# 從name對應的集合中隨機獲取 numbers 個元素
srem(name, values)

# 在name對應的集合中刪除某些值
sunion(keys, *args)

# 獲取多一個name對應的集合的並集
sunionstore(dest,keys, *args)

# 獲取多一個name對應的集合的並集,並將結果儲存到dest對應的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)

# 同字串的操作,用於增量迭代分批獲取元素,避免記憶體消耗太大

有序集合,在集合的基礎上,為每元素排序;元素的排序需要根據另外一個值來進行比較,所以,對於有序集合,每一個元素有兩個值,即:值和分數,分數專門用來做排序。

zadd(name, *args, **kwargs)

# 在name對應的有序集合中新增元素
# 如:
     # zadd('zz', 'n1', 1, 'n2', 2)
     # 或
     # zadd('zz', n1=11, n2=22)
zcard(name)

# 獲取name對應的有序集合元素的數量
zcount(name, min, max)

# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數
zincrby(name, value, amount)

# 自增name對應的有序集合的 name 對應的分數
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)

# 按照索引範圍獲取name對應的有序集合的元素

# 引數:
    # name,redis的name
    # start,有序集合索引起始位置(非分數)
    # end,有序集合索引結束位置(非分數)
    # desc,排序規則,預設按照分數從小到大排序
    # withscores,是否獲取元素的分數,預設只獲取元素的值
    # score_cast_func,對分數進行資料轉換的函式

# 更多:
    # 從大到小排序
    # zrevrange(name, start, end, withscores=False, score_cast_func=float)

    # 按照分數範圍獲取name對應的有序集合的元素
    # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
    # 從大到小排序
    # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value)

# 獲取某個值在 name對應的有序集合中的排行(從 0 開始)

# 更多:
    # zrevrank(name, value),從大到小排序


zrem(name, values)

# 刪除name對應的有序集合中值是values的成員

# 如:zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max)

# 根據排行範圍刪除
zremrangebyscore(name, min, max)

# 根據分數範圍刪除

zscore(name, value)


# 獲取name對應有序集合中 value 對應的分數
zinterstore(dest, keys, aggregate=None)

# 獲取兩個有序集合的交集,如果遇到相同值不同分數,則按照aggregate進行操作
# aggregate的值為:  SUM  MIN  MAX
zunionstore(dest, keys, aggregate=None)

# 獲取兩個有序集合的並集,如果遇到相同值不同分數,則按照aggregate進行操作
# aggregate的值為:  SUM  MIN  MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)

# 同字串相似,相較於字串新增score_cast_func,用來對分數進行操作

其他常用操作
delete(*names)

# 根據刪除redis中的任意資料型別
exists(name)

# 檢測redis的name是否存在
keys(pattern='*')


# 根據模型獲取redis的name

# 更多:
    # KEYS * 匹配資料庫中所有 key 。
    # KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
    # KEYS h*llo 匹配 hllo 和 heeeeello 等。
    # KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
expire(name ,time)

# 為某個redis的某個name設定超時時間
rename(src, dst)

# 對redis的name重新命名為
move(name, db))

# 將redis的某個值移動到指定的db下
randomkey()

# 隨機獲取一個redis的name(不刪除)
type(name)

# 獲取name對應值的型別
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)

# 同字串操作,用於增量迭代獲取key

管道
redis-py預設在執行每次請求都會建立(連線池申請連線)和斷開(歸還連線池)一次連線操作,如果想要在一次請求中指定多個命令,則可以使用pipline實現一次請求指定多個命令,並且預設情況下一次pipline 是原子性操作。

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import redis

pool = redis.ConnectionPool(host='10.211.55.4', port=6379)

r = redis.Redis(connection_pool=pool)

# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)

pipe.set('name', 'alex')
pipe.set('role', 'sb')

pipe.execute()

釋出訂閱

釋出者:伺服器

訂閱者:Dashboad和資料處理

Demo如下:
import redis


class RedisHelper:

    def __init__(self):
        self.__conn = redis.Redis(host='10.211.55.4')
        self.chan_sub = 'fm104.5'
        self.chan_pub = 'fm104.5'

    def public(self, msg):
        self.__conn.publish(self.chan_pub, msg)
        return True

    def subscribe(self):
        pub = self.__conn.pubsub()
        pub.subscribe(self.chan_sub)
        pub.parse_response()
        return pub

訂閱者:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from monitor.RedisHelper import RedisHelper

obj = RedisHelper()
redis_sub = obj.subscribe()

while True:
    msg= redis_sub.parse_response()
    print msg


釋出者:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from monitor.RedisHelper import RedisHelper

obj = RedisHelper()
obj.public('hello')