1. 程式人生 > >Redis資料庫看這一篇文章就夠了

Redis資料庫看這一篇文章就夠了

前言

redis作為nosql家族中非常熱門的一員,也是被大型網際網路公司所青睞,無論你是開發、測試或者運維,學習掌握它總會為你的職業生涯增色添彩。

當然,你或多或少已經瞭解redis,但是你是否瞭解其中的某些細節,本片文章將詳細介紹redis基礎,後續也會介紹其高階部分如、持久化、複製、叢集等內容,希望對你有所幫助。

自redis3.0釋出已經3年了,redis目前官方提供的redis穩定版本是4.0,以下示例均在4.0版本上進行。

一、redis簡介

概述

redis(REmote DIctionary Server)是一個由Salvatore Sanfilippo寫key-value儲存系統,它由C語言編寫、遵守BSD協議、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value型別的資料庫,並提供多種語言的API。和Memcached類似,它支援儲存的value型別相對更多,包括string(字串)、list(連結串列)、set(集合)、zset(sorted set --有序集合)和hash(雜湊型別)。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支援各種不同方式的排序。與memcached一樣,為了保證效率,資料都是快取在記憶體中。區別的是redis會週期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案,並且在此基礎上實現了master-slave(主從)同步,redis在3.0版本推出叢集模式。

特點、優勢

  • k、v鍵值儲存以及資料結構儲存(如列表、字典)
  • 所有資料(包括資料的儲存)操作均在記憶體中完成
  • 單執行緒服務(這意味著會有較多的阻塞情況),採用epoll模型進行請求響應,對比nginx
  • 支援主從複製模式,更提供高可用主從複製模式(哨兵)
  • 去中心化分散式叢集
  • 豐富的程式設計介面支援,如Python、Golang、Java、php、Ruby、Lua、Node.js 
  • 功能豐富,除了支援多種資料結構之外,還支援事務、釋出/訂閱、訊息佇列等功能
  • 支援資料持久化(AOF、RDB)

對比memcache

  • memcache是一個分散式的記憶體物件快取系統,並不提供持久儲存功能,而redis擁有持久化功能
  • memcache資料儲存基於LRU(簡單說:最近、最少使用key會被剔除),而redis則可以永久儲存(服務一直執行情況下)
  • memcache是多執行緒的(這是memcache優勢之一),也就意味著阻塞情況少,而redis是單執行緒的,阻塞情況相對較多
  • 兩者效能上相差不大
  • memcache只支援簡單的k、v資料儲存,而redis支援多種資料格式儲存。
  • memcache是多執行緒、非阻塞IO複用網路模型,而redis是單執行緒IO複用模型

二、開始

原始碼部署

yum install gcc -y  #安裝C依賴
wget http://download.redis.io/redis-stable.tar.gz  #下載穩定版本
tar zxvf redis-stable.tar.gz  #解壓
cd redis-stable
make PREFIX=/opt/app/redis install   #指定目錄編譯,也可以不用指定
make install
mkdir /etc/redis   #建立配置目錄
cp redis.conf /etc/redis/6379.conf # 拷貝配置檔案
cp utils/redis_init_script /etc/init.d/redis  #拷貝init啟動指令碼針對6.X系統
chmod a+x  /etc/init.d/redis  #新增執行許可權
vi /etc/redis/6379.conf #修改配置檔案: 
bind 0.0.0.0      #監聽地址
maxmemory 4294967296   #限制最大記憶體(4G):
daemonize yes   #後臺執行

####啟動與停止
/etc/init.d/redis start
/etc/init.d/redis stop

檢視是否成功安裝

#執行客戶端工具
redis-cli 
#輸入命令info
127.0.0.1:6379> info
# Server
redis_version:4.0.10
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:cf83e9c690dbed33
redis_mode:standalone
os:Linux 2.6.32-642.el6.x86_64 x86_64
arch_bits:64
multiplexing_api:epoll

二進位制檔案說明

redis安裝完成後會有以下可執行檔案(window下是exe檔案)生成,下面是各個檔案的作用。

redis-server       #Redis伺服器和Sentinel伺服器,啟動時候可使用--sentinel指定為哨兵
redis-cli         #Redis命令列客戶端 
redis-benchmark      #Redis效能測試工具 
redis-check-aof      #AOF檔案修復工具 
redis-check-dump     #RDB檔案檢測工具 
redis-sentinel       #Sentinel伺服器,4.0版本已經做了軟連結到redis-server

三、配置詳解

redis所有的配置引數都可以通過客戶端通過“CONFIG GET 引數名” 獲取,引數名支援萬用字元,如*代表所有。所得結果並按照順序分組,第一個返回結果是引數名,第二個結果是引數對應的值。

除了檢視配置還可以使用CONFIG SET修改配置,寫入配置檔案使用CONFIG REWRITE,使用時是需要注意某些關於服務配置引數慎重修改,如bind。

配置引數以及解釋,需要注意的是,有些配置是4.0.10新增的,有些配置已經廢除,如vm相關配置,和叢集相關配置在叢集篇章在進行補充。

logfile
#日誌檔案位置及檔名稱

bind 0.0.0.0
#監聽地址,可以有多個 如bind 0.0.0.0 127.0.0.1

daemonize yes
#yes啟動守護程序執行,即後臺執行,no表示不啟用

pidfile /var/run/redis.pid 
# 當redis在後臺執行的時候,Redis預設會把pid檔案在在/var/run/redis.pid,也可以配置到其他地方。
# 當執行多個redis服務時,需要指定不同的pid檔案和埠

port 6379
# 指定redis執行的埠,預設是6379

unixsocket 
#sock檔案位置

unixsocketperm
#sock檔案許可權

timeout 0
# 設定客戶端連線時的超時時間,單位為秒。當客戶端在這段時間內沒有發出任何指令,那麼關閉該連線, 0是關閉此設定

loglevel debug
# 指定日誌記錄級別,Redis總共支援四個級別:debug、verbose、notice、warning,預設為verbose

logfile ""
# 日誌檔案配置,預設值為stdout,標準輸出,若後臺模式會輸出到/dev/null

syslog-enabled
# 是否以syslog方式記錄日誌,yes開啟no禁用,與該配置相關配置syslog-ident 和syslog-facility local0 分別是指明syslog的ident和facility

databases 16
#配置可用的資料庫個數,預設值為16,預設資料庫為0,資料庫範圍在0-(database-1)之間

always-show-logo yes #4.0以後新增配置
#是否配置日誌顯示redis徽標,yes顯示no不顯示


################################ 快照相關配置 #################################

save 900 1
save 300 10
save 60 10000
#配置快照(rdb)促發規則,格式:save <seconds> <changes>
#save 900 1  900秒內至少有1個key被改變則做一次快照
#save 300 10  300秒內至少有300個key被改變則做一次快照
#save 60 10000  60秒內至少有10000個key被改變則做一次快照

dbfilename  dump.rdb
#rdb持久化儲存資料庫檔名,預設為dump.rdb

stop-write-on-bgsave-error yes 
#yes代表當使用bgsave命令持久化痤瘡時候禁止寫操作

rdbchecksum yes
#開啟rdb檔案校驗

dir "/etc"
#資料檔案存放目錄,rdb快照檔案和aof檔案都會存放至該目錄


################################# 複製相關配置引數 #################################

slaveof <masterip> <masterport>  
#設定該資料庫為其他資料庫的從資料庫,設定當本機為slave服務時,設定master服務的IP地址及埠,在Redis啟動時,它會自動從master進行資料同步

masterauth <master-password>
#主從複製中,設定連線master伺服器的密碼(前提master啟用了認證)

slave-serve-stale-data yes
# 當從庫同主機失去連線或者複製正在進行,從機庫有兩種執行方式:
# 1) 如果slave-serve-stale-data設定為yes(預設設定),從庫會繼續相應客戶端的請求
# 2) 如果slave-serve-stale-data是指為no,除了INFO和SLAVOF命令之外的任何請求都會返回一個錯誤"SYNC with master in progress"

repl-ping-slave-period 10
#從庫會按照一個時間間隔向主庫傳送PING命令來判斷主伺服器是否線上,預設是10秒

repl-timeout 60
#設定主庫批量資料傳輸時間或者ping回覆時間間隔超時時間,預設值是60秒
# 一定要確保repl-timeout大於repl-ping-slave-period

repl-backlog-size 1mb
#設定複製積壓大小,只有當至少有一個從庫連入才會釋放。

slave-priority 100
#當主庫發生宕機時候,哨兵會選擇優先順序最高的一個稱為主庫,從庫優先順序配置預設100,數值越小優先順序越高

min-slaves-to-write 3
min-slaves-max-lag 10
#設定某個時間斷內,如果從庫數量小於該某個值則不允許主機進行寫操作,以上引數表示10秒內如果主庫的從節點小於3個,則主庫不接受寫請求,min-slaves-to-write 0代表關閉此功能。


################################## 安全相關配置 ###################################

requirepass
#客戶端連線認證的密碼,預設為空,即不需要密碼,若配置則命令列使用AUTH進行認證

maxclients 10000
# 設定同一時間最大客戶端連線數,4.0預設10000,Redis可以同時開啟的客戶端連線數為Redis程序可以開啟的最大檔案描述符數,
# 如果設定 maxclients 0,表示不作限制。
# 當客戶端連線數到達限制時,Redis會關閉新的連線並向客戶端返回max number of clients reached錯誤資訊

maxmemory 4gb
#設定最大使用的記憶體大小

maxmemory-policy noeviction
#設定達到最大記憶體採取的策略:
# volatile-lru -> 利用LRU演算法移除設定過過期時間的key (LRU:最近使用 Least Recently Used )
# allkeys-lru -> 利用LRU演算法移除任何key
# volatile-random -> 移除設定過過期時間的隨機key
# allkeys->random -> remove a random key, any key
# volatile-ttl -> 移除即將過期的key(minor TTL)
# 4.0預設noeviction代表不刪除任何key,只在寫操作時候返回錯誤。

maxmemory-samples 5
#LRU,LFU等演算法樣本設定,預設5個key


############################## AOF相關配置###############################

appendonly no
# 設定AOF持久化,yes開啟,no禁用,開啟後redis會把所接收到的每一次寫操作請求都追加到appendonly.aof檔案中,當redis重新啟動時,會從該檔案恢復出之前的狀態。
# 但是這樣會造成appendonly.aof檔案過大,所以redis還支援了BGREWRITEAOF指令,對appendonly.aof 進行重寫。

appendfilename "appendonly.aof"
#設定AOF檔名

appendfsync everysec
# AOF檔案寫策略,Redis支援三種同步AOF檔案的策略:
# no: 不進行同步,交給作業系統去執行 ,速度較快
# always: always表示每次有寫操作都呼叫fsync方法強制核心將該寫操作寫入到檔案,速度會慢, 但是安全,因為每次寫操作都在AOF檔案中.
# everysec: 表示對寫操作進行累積,每秒同步一次,折中方案.
# 預設是"everysec",按照速度和安全折中這是最好的。

no-appendfsync-on-rewrite no
# AOF策略設定為always或者everysec時,後臺處理程序(後臺儲存或者AOF日誌重寫)會執行大量的I/O操作
# 在某些Linux配置中會阻止過長的fsync()請求。注意現在沒有任何修復,即使fsync在另外一個執行緒進行處理,為了減緩這個問題,可以設定下面這個引數no-appendfsync-on-rewrite

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
#當AOF檔案增長到一定大小的時候Redis能夠呼叫BGREWRITEAOF對日誌檔案進行重寫,它是這樣工作的:Redis會記住上次進行些日誌後文件的大小(如果從開機以來還沒進行過重寫,那日子大小在開機的時候確定)。
#基礎大小會同現在的大小進行比較。如果現在的大小比基礎大小大制定的百分比,重寫功能將啟動
# 同時需要指定一個最小大小用於AOF重寫,這個用於阻止即使檔案很小但是增長幅度很大也去重寫AOF檔案的情況
# 設定 percentage 為0就關閉這個特性
#auto-aof-rewrite-percentage 代表AOF檔案每次重寫檔案大小(以百分數代表),100表示百分之百,即當檔案增加了1倍(100%),則開始重寫AOF檔案
#auto-aof-rewrite-min-size  設定最小重寫檔案大小,避免檔案小而執行太多次的重寫

aof-load-truncated yes
#當redis突然執行崩潰時,會出現aof檔案被截斷的情況,Redis可以在發生這種情況時退出並載入錯誤,以下選項控制此行為。
#如果aof-load-truncated設定為yes,則載入截斷的AOF檔案,Redis伺服器啟動發出日誌以通知使用者該事件。
#否則,如果該選項設定為no,則伺服器將中止並顯示錯誤並停止啟動。當該選項設定為no時,使用者需要在重啟之前使用“redis-check-aof”實用程式修復AOF檔案在進行重啟


################################## 慢查詢配置 ###################################


slowlog-log-slower-than 10000
 #Redis Slow Log 記錄超過特定執行時間的命令。執行時間不包括I/O計算比如連線客戶端,返回結果等,只是命令執行時間,可以通過兩個引數設定slow log:一個是告訴Redis執行超過多少時間被記錄的引數slowlog-log-slower-than(微秒,因此1000000代表一分鐘
#另一個是slow log 的長度。當一個新命令被記錄的時候最早的命令將被從佇列中移除
 
slowlog-max-len 128
#慢查詢命令記錄佇列長度設定,該佇列佔用記憶體,可以使用SLOWLOG RESET清空佇列



############################### 高階配置 ###############################

hash-max-zipmap-entries 512
hash-max-zipmap-value 64
# 當hash中包含超過指定元素個數並且最大的元素沒有超過臨界時,hash將以一種特殊的編碼方式(大大減少記憶體使用)來儲存,這裡可以設定這兩個臨界值
# Redis Hash對應Value內部實際就是一個HashMap,實際這裡會有2種不同實現,
# 這個Hash的成員比較少時Redis為了節省記憶體會採用類似一維陣列的方式來緊湊儲存,而不會採用真正的HashMap結構,對應的value redisObject的encoding為zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。

list-max-ziplist-size -2
#Lists也以特殊方式編碼,以節省大量空間。
#可以指定每個內部列表節點允許的條目數
#作為固定的最大大小或最大元素數。
#對於固定的最大大小,使用-5到-1表示:
#-5:最大大小:64 Kb < - 不建議用於正常工作負載
#-4:最大尺寸:32 Kb < - 不推薦
#-3:最大尺寸:16 Kb < - 可能不推薦
#-2:最大尺寸:8 Kb < - 好
#-1:最大尺寸:4 Kb < - 良好
#正數意味著儲存_exactly_元素數量
#每個列表節點。
#效能最高的選項通常為-2(8 Kb大小)或-1(4 Kb大小)

zset-max-ziplist-entries 128
zset-max-ziplist-value 64
# list資料型別多少節點以下會採用去指標的緊湊儲存格式。
# list資料型別節點值大小小於多少位元組會採用緊湊儲存格式。

activerehashing yes
# Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash,可以降低記憶體的使用
# 當你的使用場景中,有非常嚴格的實時性需要,不能夠接受Redis時不時的對請求有2毫秒的延遲的話,把這項配置為no。
# 如果沒有這麼嚴格的實時性要求,可以設定為yes,以便能夠儘可能快的釋放記憶體

client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
#客戶端輸出緩衝區限制可用於強制斷開客戶端,由於某種原因,沒有足夠快地從伺服器讀取資料,常見的原因是Pub / Sub客戶端不能像很快的消費一條訊息,可以為三種不同型別的客戶端設定不同的限制:
#normal - >普通客戶端,包括MONITOR客戶端
#subve - >從伺服器客戶端
#pubsub - >客戶端訂閱了至少一個pubsub通道或模式
#設定方法:client-output-buffer-limit 軟限制大小 硬限制大小 秒數
#當客戶端達到硬限制大小則立即斷開連線,當客戶端達到軟限制時候並且在設定的秒數緩衝大小任然超了,則在設定的秒數後斷開連線

四、資料型別以及相關操作

通常使用redis不外乎使用其常用的5中資料型別:string、list、hash、set、sorted_set,在3.2版本以後新新增geo經緯度支援,以下將對其型別的常用操作做說明。

命令使用前言

通大多資料庫一樣,redis所有的命令提供了幫助,可以使用help +命令名稱檢視其使用方法,幫助資訊中不僅有命令用法,還有命令始於版本資訊,分組等。

為了友好的使用,redis還將所有命令都進行了分組,同時使用[email protected]+組名進行檢視每個組中所有命令,以下是所有分組資訊。

上面以及介紹如何檢視命令使用方法,所以在以下資料型別操作時候,只舉例常用的命令,更多命令參考https://redis.io/commands

注意:redis在3.2版本新增geo資料型別。

generic       #一般命令組,對大多數型別適用
string        #字串型別命令組,使用所有字串型別
list          #列表型別命令組
set           #集合型別命令組
sorted_set    #有序集合命令組
hash          #hash操作命令組
pubsub        #釋出命令組
transactions  #事務操作命令組
connection    #連線相關命令組
server        #伺服器相關命令組
scripting     #lua 指令碼命令組
hyperloglog   #hyperloglog型別命令組,redis在 2.8.9 版本添加了 HyperLogLog 結構
cluster       #叢集相關命令組
geo           #經緯度相關命令組,適用於3.2.0以後的版本

示例:檢視事務操作所有命令

key操作

常用:

DEL key #刪除某個key
KEYS pattern  #檢視符合正則的所有key
EXISTS key [key ...] #判斷某個key是否存在,可支援多個,返回存在的個數
EXPIRE key seconds #重新整理某個key過期時間
MOVE key db  #移動key到某個資料庫

示例:

string操作

字串操作中需要注意的是,redis中的整型也當作字串處理。

常用:

SET key value [EX seconds] [PX milliseconds] [NX|XX]  #設定key為指定的字串值。
#引數:
#EX seconds – 設定鍵key的過期時間,單位時秒
#PX milliseconds – 設定鍵key的過期時間,單位時毫秒
#NX – 只有鍵key不存在的時候才會設定key的值
#XX – 只有鍵key存在的時候才會設定key的值

APPEND key value  #如果 key 已經存在,並且值為字串,那麼這個命令會把 value 追加到原來值(value)的結尾。 如果 key 不存在,那麼它將首先建立一個空字串的key,再執行追加操作,這種情況 APPEND 將類似於 SET 操作。

GET key #獲取key值,不存在則返回nil

GETRANGE key start end #獲取指定key值的索引開始位置和結束位置所對應的值,索引從0開始

GETSET key value  #設定新的key值,並獲取設定之前的值,如果key不存在則設定,並返回nil

MGET key [key ...]   #批量獲取key的值

MSET key value [key value ...] #批量設定key的值

DECR key #數字型別的key自減操作,key型別不是數字則報錯

INCR key  #數字型別key 自加操作,與DECR相反

DECRBY key decrement  #數字型別key指定減少數值

INCRBY key increment   #數字型別key指定增加數值,與DECRBY相反

STRLEN key  #獲取key長度

示例:

list操作

列表中的元素索引從0開始,倒數的元素可以用“-”+倒數位置表示,如-2,代表倒數第二個元素,-1則代表最後一個元素。

Redis列表是簡單的字串列表,按照插入順序排序。你可以新增一個元素到列表的頭部(左邊)或者尾部(右邊。

一個列表最多可以包含 2 32 - 1 個元素 (4294967295, 每個列表超過40億個元素)。

常用:

LPUSH key value [value ...]  #從列表左邊放入一個或者多個元素

LPUSHX key value  #當列表存在時,從左邊放入一個元素

RPUSH key value [value ...]  #從列表右邊放入一個或者多個元素

RPUSHX key value  #當列表存在時,從右邊放入一個元素

LSET key index value  #根據索引設定列表中元素的值,當list不存在是報錯

LINDEX key index  #根據列表索引獲取元素值,索引從0開始

LINSERT key BEFORE|AFTER pivot value  #在列表中,基於某個基準點插入值,pivot代表基準點

LLEN key #獲取列表長度

LRANGE key start stop  #根據索引獲取列表中的元素,列表索引最後一個可以使用-1

LREM key count value  #從存於 key 的列表裡移除前 count 次出現的值為 value 的元素
#count > 0: 從頭往尾移除值為 value 的元素
#count < 0: 從尾往頭移除值為 value 的元素
#count = 0: 移除所有值為 value 的元素

LPOP key  #從列表左邊刪除一個元素

RPOP key  #從列表右邊刪除一個元素

RPOPLPUSH source destination  #刪除source列表中的刪除最後一個元素將其追加到destination列表

LTRIM key start stop  #根據索引start和stop保留列表元素

示例:

hash操作

hash操作所有命令都以H開頭。

Redis hash 是一個string型別的field和value的對映表,hash特別適合用於儲存物件。

Redis 中每個 hash 可以儲存 2 32 - 1 鍵值對(40多億)。

常用:

HDEL key field [field ...]  #刪除hash表中一個或多個欄位

HEXISTS key field  #判斷hash表中欄位是否存在

HGET key field  #獲取hash表中欄位的值

HGETALL key  #獲取hash表中所有欄位

HSET key field value  # 設定hash表中欄位的值

HSETNX key field value  #只有當欄位不存在時候才設定hash表中欄位值,

HLEN key  #獲取hash表中欄位個數

HVALS key  #獲取hash表中所有欄位的值

HKEYS key  #獲取hash表中所有的欄位

HSTRLEN key field #獲取hash表中指定欄位的值的長度

HMSET key field value [field value ...]  #批量設定hash表中欄位的值

HMGET key field [field ...]  #批量獲取hash表中欄位的值

示例:

集合set操作

Redis 的 Set 是 String 型別的無序集合。集合成員是唯一的,這就意味著集合中不能出現重複的資料。

Redis 中集合是通過雜湊表實現的,所以新增,刪除,查詢的複雜度都是 O(1)。

集合中最大的成員數為 2 32 - 1 (4294967295, 每個集合可儲存40多億個成員)。

常用:

SADD key member [member ...]  #新增一個或多個元素到集合中

SREM key member [member ...]  #刪除一個或多個集合中的元素

SCARD key  #獲取集合中元素數量

SMEMBERS key  #返回集合中所有的元素

SINTER key [key ...] #獲取兩個或兩個以上集合的交集

SUNION key [key ...]  #獲取兩個或兩個以上集合的並集

SDIFF key [key ...]     #獲取兩個或者兩個以上集合的差集

SISMEMBER key member  #判斷元素是否是在指定集合中

SMOVE source destination member #移動一個集合中的元素到另一個集合

SPOP key [count]  #移除count個集合中元素,count可選引數,預設為1,即移除一個

有序集合操作

Redis 有序集合和集合一樣也是string型別元素的集合,且不允許重複的成員。

不同的是每個元素都會關聯一個double型別的分數。redis正是通過分數來為集合中的成員進行從小到大的排序。

有序集合的成員是唯一的,但分數(score)卻可以重複。

集合是通過雜湊表實現的,所以新增,刪除,查詢的複雜度都是O(1)。 集合中最大的成員數為 2 32 - 1 (4294967295, 每個集合可儲存40多億個成員)。

常用:

ZADD key [NX|XX] [CH] [INCR] score member [score member ...]  #向一個有序集合新增成員(元素)
#引數:
#XX: 僅僅更新存在的成員,不新增新成員。
#NX: 不更新存在的成員。只新增新成員。
#CH: 修改返回值為發生變化的成員總數,原始是返回新新增成員的總數 (CH 是 changed 的意思)。更改的元素是新新增的成員,已經存在的成員更新分數。 所以在命令中指定的成員有相同的分數將不被計算在內。注:在通常情況下,ZADD返回值只計算新新增成員的數量。
#INCR: 當ZADD指定這個選項時,成員的操作就等同ZINCRBY命令,對成員的分數進行遞增操作。

ZCARD key  #獲取有序集合中元素個數

ZCOUNT key min max  #指定分數範圍的元素個數

ZINCRBY key increment member  #為有序集的元素的score值加上增加指定的increment

ZRANGE key start stop [WITHSCORES]  #根據有序集合中分數區間獲取集合中的元素

ZRANGE key start stop [WITHSCORES]  #獲取有序集合中元素的排名

ZREM key member [member ...]  #刪除有序集合中一個或多個元素

ZSCORE key member  #設定元素在集合中的分數

GEO型別操作

Redis的GEO是 3.2 版本的新特性,對GEO(地理位置)的支援。這個功能可以將使用者給定的地理位置資訊儲存起來, 並對這些資訊進行操作。

geo型別命令不多,總共6個所以這裡全部列舉出來了。

GEOADD key longitude latitude member [longitude latitude member ...]  #將指定的地理空間位置(緯度、經度、名稱)新增到指定的key中

GEODIST key member1 member2 [unit]  #返回兩個給定位置之間的距離。如果兩個位置之間的其中一個不存在, 那麼命令返回空值。指定單位的引數 unit 必須是以下單位的其中一個:

#m 表示單位為米
#km 表示單位為千米
#mi 表示單位為英里
#ft 表示單位為英尺

GEOPOS key member [member ...]  #從key裡返回所有給定位置元素的位置(經度和緯度)

GEOHASH key member [member ...]  #返回一個或多個位置元素的 Geohash 表示。通常使用表示位置的元素使用不同的技術,使用Geohash位置52點整數編碼。由於編碼和解碼過程中所使用的初始最小和最大座標不同,編碼的編碼也不同於標準。此命令返回一個標準的Geohash

GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key]  
#以給定的經緯度為中心, 返回鍵包含的位置元素當中, 與中心的距離不超過給定最大距離的所有位置元素。

#範圍可以使用以下其中一個單位:

#m 表示單位為米。
#km 表示單位為千米。
#mi 表示單位為英里。
#ft 表示單位為英尺。
#在給定以下可選項時, 命令會返回額外的資訊:

#WITHDIST: 在返回位置元素的同時, 將位置元素與中心之間的距離也一併返回。 距離的單位和使用者給定的範圍單位保持一致。
#WITHCOORD: 將位置元素的經度和維度也一併返回。
#WITHHASH: 以 52 位有符號整數的形式, 返回位置元素經過原始 geohash 編碼的有序集合分值。 這個選項主要用於底層應用或者除錯, 實際中的作用並不大。
#命令預設返回未排序的位置元素。 通過以下兩個引數, 使用者可以指定被返回位置元素的排序方式:

#ASC: 根據中心的位置, 按照從近到遠的方式返回位置元素。
#DESC: 根據中心的位置, 按照從遠到近的方式返回位置元素。
#在預設情況下, GEORADIUS 命令會返回所有匹配的位置元素。 雖然使用者可以使用 COUNT <count> 選項去獲取前 N 個匹配元素, 但是因為命令在內部可能會需要對所有被匹配的元素進行處理, 所以在對一個非常大的區域進行搜尋時, 即使只使用 COUNT 選項去獲取少量元素, 命令的執行速度也可能會非常慢。 但是從另一方面來說, 使用 COUNT 選項去減少需要返回的元素數量, 對於減少頻寬來說仍然是非常有用的。

#返回值:
  #在沒有給定任何 WITH 選項的情況下, 命令只會返回一個像 [“New York”,”Milan”,”Paris”] 這樣的線性(linear)列表。
  #在指定了 WITHCOORD 、 WITHDIST 、 WITHHASH 等選項的情況下, 命令返回一個二層巢狀陣列, 內層的每個子陣列就表示一個元素

  #在返回巢狀陣列時, 子陣列的第一個元素總是位置元素的名字。 至於額外的資訊, 則會作為子陣列的後續元素, 按照以下順序被返回:
    #以浮點數格式返回的中心與位置元素之間的距離, 單位與使用者指定範圍時的單位一致。
    #geohash 整數。
    #由兩個元素組成的座標,分別為經度和緯度。

GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count] [ASC|DESC] [STORE key] [STOREDIST key]
#這個命令和 GEORADIUS 命令一樣, 都可以找出位於指定範圍內的元素, 但是 GEORADIUSBYMEMBER 的中心點是由給定的位置元素決定的。

操作示例:

五、釋出訂閱

Redis 釋出訂閱(pub/sub)是一種訊息通訊模式:傳送者(pub)傳送訊息,訂閱者(sub)接收訊息。

Redis 客戶端可以訂閱任意數量的頻道。

下圖代表其釋出訂閱之間的關係

運作原理

每個 Redis 伺服器程序都維持著一個表示伺服器狀態的 redis.h/redisServer 結構, 結構的  pubsub_channels 屬性是一個字典, 這個字典就用於儲存訂閱頻道的資訊:

struct redisServer {
    // ...
    dict *pubsub_channels;
    // ...
};

其中,字典的鍵為正在被訂閱的頻道, 而字典的值則是一個連結串列, 連結串列中儲存了所有訂閱這個頻道的客戶端。

比如說,在下圖展示的這個 pubsub_channels 示例中,  client1 、  client2 和  client3 就訂閱了  channel1 , 而client3也同時訂閱了channel2。

當客戶端呼叫 SUBSCRIBE 命令時, 程式就將客戶端和要訂閱的頻道在 pubsub_channels字典中關聯起來。

SUBSCRIBE 命令的行為可以用偽程式碼表示如下:

def SUBSCRIBE(client, channels):

    // 遍歷所有輸入頻道
    for channel in channels:

        // 將客戶端新增到連結串列的末尾
        redisServer.pubsub_channels[channel].append(client)

通過 pubsub_channels 字典, 程式只要檢查某個頻道是否為字典的鍵, 就可以知道該頻道是否正在被客戶端訂閱; 只要取出某個鍵的值, 就可以得到所有訂閱該頻道的客戶端的資訊。

瞭解了 pubsub_channels 字典的結構之後, 解釋 PUBLISH 命令的實現就非常簡單了: 當呼叫  PUBLISH channel message 命令, 程式首先根據  channel 定位到字典的鍵, 然後將資訊傳送給字典值連結串列中的所有客戶端。

訂閱模式

redis的釋出訂閱不僅僅提供簡單的訂閱頻道,還提供模式匹配訂閱。模式訂閱使用命令PSUBSCRIBE實現。

redisServer.pubsub_patterns 屬性是一個連結串列,連結串列中儲存著所有和模式相關的資訊:

struct redisServer {
    // ...
    list *pubsub_patterns;
    // ...
};

連結串列中的每個節點都包含一個 redis.h/pubsubPattern 結構:

typedef struct pubsubPattern {
    redisClient *client;
    robj *pattern;
} pubsubPattern;

client 屬性儲存著訂閱模式的客戶端,而  pattern 屬性則儲存著被訂閱的模式。

每當呼叫 PSUBSCRIBE 命令訂閱一個模式時, 程式就建立一個包含客戶端資訊和被訂閱模式的  pubsubPattern 結構, 並將該結構新增到  redisServer.pubsub_patterns 連結串列中。

作為例子,下圖展示了一個包含兩個模式的 pubsub_patterns 連結串列, 其中  client123 和  client256 都正在訂閱  tweet.shop.* 模式:

通過遍歷整個 pubsub_patterns 連結串列,程式可以檢查所有正在被訂閱的模式,以及訂閱這些模式的客戶端。

當執行PUBLISH進行命令向channel命令傳送訊息時,PUBLISH 除了將 message 傳送到所有訂閱  channel 的客戶端之外, 它還會將  channel 和  pubsub_patterns 中的模式進行對比, 如果  channel 和某個模式匹配的話, 那麼也將  message 傳送到訂閱那個模式的客戶端,例如一個客戶端訂閱了aa.bb.*頻道,那麼他會收到來自所有aa.bb開頭的所有頻道訊息。

相關命令

PSUBSCRIBE pattern [pattern ...]  #使用模式訂閱一個或多個符合給定模式的頻道

PUNSUBSCRIBE [pattern [pattern ...]]  #退訂所有給定模式的頻道

SUBSCRIBE channel [channel ...]   #訂閱給定的一個或多個頻道的資訊

UNSUBSCRIBE [channel [channel ...]]   #指退訂給定的頻道

PUBSUB subcommand [argument [argument ...]]  #檢視訂閱與釋出系統狀態

PUBLISH channel message   #將資訊傳送到指定的頻道

實踐

在以下示例中,將分別用SUBSCRIBE命令訂閱aa.bb和使用PSUBSCRIBE模式訂閱頻道aa.bb*。

SUBSCRIBE訂閱:

PSUBSCRIBE訂閱:

此時我們使用PUBSH向aa.bb傳送訊息,返回接受到的頻道數,兩個訂閱者都能收到訊息。

訂閱者1:

模式訂閱者:

小結

  • 訂閱資訊由伺服器程序維持的  redisServer.pubsub_channels  字典儲存,字典的鍵為被訂閱的頻道,字典的值為訂閱頻道的所有客戶端。
  • 當有新訊息傳送到頻道時,程式遍歷頻道(鍵)所對應的(值)所有客戶端,然後將訊息傳送到所有訂閱頻道的客戶端上。
  • 訂閱模式的資訊由伺服器程序維持的  redisServer.pubsub_patterns  連結串列儲存,連結串列的每個節點都儲存著一個  pubsubPattern  結構,結構中儲存著被訂閱的模式,以及訂閱該模式的客戶端。程式通過遍歷連結串列來查詢某個頻道是否和某個模式匹配。
  • 當有新訊息傳送到頻道時,除了訂閱頻道的客戶端會收到訊息之外,所有訂閱了匹配頻道的模式的客戶端,也同樣會收到訊息。
  • 退訂頻道和退訂模式分別是訂閱頻道和訂閱模式的反操作。

六、事務

所謂事務應具有以下特效:原子性(Atomicity), 一致性(Consistency),隔離性(Isolation),永續性(Durability),簡稱ACID,但redis所提供的事務比較簡單,它通過MULTI、EXEC、DISCARD和WATCH等命令實現事務。

而Redis只支援簡單的事務,將執行命令放入佇列快取,當程式中有異常或命令出錯,執行DISCARD清空快取佇列不執行佇列中命令,其事務過程有以下特點:

  • 事務是一個單獨的隔離操作:事務中的所有命令都會序列化、按順序地執行。事務在執行的過程中,不會被其他客戶端傳送來的命令請求所打斷。

  • 事務是一個 泛原子 操作(這裡我以泛原子稱呼,在某些情況redis的事務不是原子性的,後續會說明):事務中的命令要麼全部被執行,要麼全部都不執行。

EXEC 命令負責觸發並執行事務中的所有命令:

  • 如果客戶端在使用 MULTI 開啟了一個事務之後,卻因為斷線而沒有成功執行 EXEC ,那麼事務中的所有命令都不會被執行。
  • 另一方面,如果客戶端成功在開啟事務之後執行 EXEC ,那麼事務中的所有命令都會被執行。

特別說明文中的 泛原子操作 :

  • redis在開啟事務以後,若執行命令具有顯示的錯誤或者客戶端中斷則此次事務在執行EXEC命令時會呼叫DISCARD清空快取佇列不執行佇列中的所有任務,此時是原子性的。
  • 當執行命令過程中,命令沒有顯示的報錯(例如LSET操作設定一個不存在的list),而是在EXEC呼叫時候某個命令出錯,那麼在這之前已經執行的命令將不會回滾,所以嚴格說來, redis並不支援原子性。

涉及命令

MULTI  #用於標記事務塊的開始。Redis會將後續的命令逐個放入佇列中,然後才能使用EXEC命令執行快取佇列中的命令。

EXEC  #執行快取佇列中的命令

DISCARD  #清除所有先前在一個事務中放入佇列的命令,然後恢復正常的連線狀態,如果使用了WATCH命令,那麼DISCARD命令就會將當前連線監控的所有鍵取消監控。

WATCH key [key ...]   #當某個事務需要按條件執行時,就要使用這個命令將給定的鍵設定為受監控的

UNWATCH  #清除所有先前為一個事務監控的鍵,如果你呼叫了EXEC或DISCARD命令,那麼就不需要手動呼叫UNWATCH命令

樂觀鎖機制

樂觀鎖:總是認為不會產生併發問題,每次去取資料的時候總認為不會有其他執行緒對資料進行修改,因此不會上鎖,但是在更新時會判斷其他執行緒在這之前有沒有對資料進行修改,一般會使用版本號機制或檢查再設定(CAS)操作實現。

redis通過WATCH命令實現樂觀鎖,作為WATCH命令的引數的鍵會受到Redis的監控,Redis能夠檢測到它們的變化。在執行EXEC命令之前,如果Redis檢測到至少有一個鍵被修改了,那麼整個事務便會中止執行,然後EXEC命令會返回一個nil值,提醒使用者事務執行失敗。

注意:WATCH命令需要在MULTI之前執行,不然redis會將其一個命令放入快取佇列中。

示例:在以下示例中通過一個客戶端開啟事務監聽name鍵,另一個客戶端在執行EXEC之前修改name鍵,此次事務將不會執行,並返回nil,如下。

原子性實踐

為演示redis嚴格意義上將不支援原子性,做了一些簡單實踐。

從上面的結果可以看出,在開啟事務前name 值為Rose,在開啟事務先後執行了SET命令和LSET命令,但是LSET命令是錯誤的,當我們呼叫EXEC執行事務完事務以後,在回頭看事務中的SET命令已經生效,並未回滾,因為在次過程中該命令沒有顯示的報錯,所以可以說redis的事務不支援原子性。