1. 程式人生 > >學Redis這篇就夠了

學Redis這篇就夠了

  • Redis 簡介
  • Redis 優勢
  • Redis 資料型別
    • string
    • hash
    • list
    • set
    • Zset
    • 小總結
  • 基本命令
  • 釋出訂閱
    • 簡介
    • 例項
    • 釋出訂閱常用命令
  • 事務
    • 例項
    • Redis 事務命令
  • 持久化
    • RDB 持久化
    • AOF
  • 複製
    • 連線過程
    • 主從鏈
  • 哨兵
  • 分片

Redis 簡介

Redis 是完全開源免費的,遵守 BSD 協議,是一個高效能的 key - value 資料庫

Redis 與 其他 key - value 快取產品有以下三個特點:

  • Redis 支援資料持久化,可以將記憶體中的資料儲存在磁碟中,重啟的時候可以再次載入進行使用。
  • Redis 不僅僅支援簡單的 key - value 型別的資料,同時還提供 list,set,zset,hash 等資料結構的儲存
  • Redis 支援資料的備份,即 master - slave 模式的資料備份

Redis 優勢

  • 效能極高 – Redis 讀的速度是 110000 次 /s, 寫的速度是 81000 次 /s 。
  • 豐富的資料型別 - Redis 支援二進位制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 資料型別操作。
  • 原子性 - Redis 的所有操作都是原子性的,意思就是要麼成功執行要麼失敗完全不執行。單個操作是原子性的。多個操作也支援事務,即原子性,通過 MULTI 和 EXEC 指令包起來。
  • 其他特性 - Redis 還支援 publish/subscribe 通知,key 過期等特性。

Redis 資料型別

Redis 支援 5 中資料型別:string(字串),hash(雜湊),list(列表),set(集合),zset(sorted set:有序集合)。

string

string 是 redis 最基本的資料型別。一個 key 對應一個 value。

string 是二進位制安全的。也就是說 redis 的 string 可以包含任何資料。比如 jpg 圖片或者序列化的物件。

string 型別是 redis 最基本的資料型別,string 型別的值最大能儲存 512 MB。

理解:string 就像是 java 中的 map 一樣,一個 key 對應一個 value


127.0.0.1:6379> set hello world
OK
127.0.0.1:6379> get hello
"world"

hash

Redis hash 是一個鍵值對(key - value)集合。

Redis hash 是一個 string 型別的 key 和 value 的對映表,hash 特別適合用於儲存物件。

理解:可以將 hash 看成一個 key - value 的集合。也可以將其想成一個 hash 對應著多個 string。

與 string 區別:string 是 一個 key - value 鍵值對,而 hash 是多個 key - value 鍵值對。


// hash-key 可以看成是一個鍵值對集合的名字,在這裡分別為其添加了 sub-key1 : value1、
sub-key2 : value2、sub-key3 : value3 這三個鍵值對
127.0.0.1:6379> hset hash-key sub-key1 value1 
(integer) 1
127.0.0.1:6379> hset hash-key sub-key2 value2
(integer) 1
127.0.0.1:6379> hset hash-key sub-key3 value3
(integer) 1
// 獲取 hash-key 這個 hash 裡面的所有鍵值對
127.0.0.1:6379> hgetall hash-key
1) "sub-key1"
2) "value1"
3) "sub-key2"
4) "value2"
5) "sub-key3"
6) "value3"
// 刪除 hash-key 這個 hash 裡面的 sub-key2 鍵值對
127.0.0.1:6379> hdel hash-key sub-key2
(integer) 1
127.0.0.1:6379> hget hash-key sub-key2
(nil)
127.0.0.1:6379> hget hash-key sub-key1
"value1"
127.0.0.1:6379> hgetall hash-key
1) "sub-key1"
2) "value1"
3) "sub-key3"
4) "value3"

list

Redis 列表是簡單的字串列表,按照插入順序排序。我們可以網列表的左邊或者右邊新增元素。


127.0.0.1:6379> rpush list-key v1
(integer) 1
127.0.0.1:6379> rpush list-key v2
(integer) 2
127.0.0.1:6379> rpush list-key v1
(integer) 3
127.0.0.1:6379> lrange list-key 0 -1
1) "v1"
2) "v2"
3) "v1"
127.0.0.1:6379> lindex list-key 1
"v2"
127.0.0.1:6379> lpop list
(nil)
127.0.0.1:6379> lpop list-key
"v1"
127.0.0.1:6379> lrange list-key 0 -1
1) "v2"
2) "v1"

我們可以看出 list 就是一個簡單的字串集合,和 Java 中的 list 相差不大,區別就是這裡的 list 存放的是字串。list 內的元素是可重複的。

set

redis 的 set 是字串型別的無序集合。集合是通過雜湊表實現的,因此新增、刪除、查詢的複雜度都是 O(1)。


127.0.0.1:6379> sadd k1 v1
(integer) 1
127.0.0.1:6379> sadd k1 v2
(integer) 1
127.0.0.1:6379> sadd k1 v3
(integer) 1
127.0.0.1:6379> sadd k1 v1
(integer) 0
127.0.0.1:6379> smembers k1
1) "v3"
2) "v2"
3) "v1"
127.0.0.1:6379>
127.0.0.1:6379> sismember k1 k4
(integer) 0
127.0.0.1:6379> sismember k1 v1
(integer) 1
127.0.0.1:6379> srem k1 v2
(integer) 1
127.0.0.1:6379> srem k1 v2
(integer) 0
127.0.0.1:6379> smembers k1
1) "v3"
2) "v1"

redis 的 set 與 java 中的 set 還是有點區別的。redis 的 set 是一個 key 對應著 多個字串型別的 value,也是一個字串型別的集合,但是和 redis 的 list 不同的是 set 中的字串集合元素不能重複,但是 list 可以。

Zset

redis zset 和 set 一樣都是 字串型別元素的集合,並且集合內的元素不能重複。

不同的是 zset 每個元素都會關聯一個 double 型別的分數。redis 通過分數來為集合中的成員進行從小到大的排序。

zset 的元素是唯一的,但是分數(score)卻可以重複。


127.0.0.1:6379> zadd zset-key 728 member1
(integer) 1
127.0.0.1:6379> zadd zset-key 982 member0
(integer) 1
127.0.0.1:6379> zadd zset-key 982 member0
(integer) 0
127.0.0.1:6379> zrange zset-key 0 -1 withscores
1) "member1"
2) "728"
3) "member0"
4) "982"
127.0.0.1:6379> zrangebyscore zset-key 0 800 withscores
1) "member1"
2) "728"
127.0.0.1:6379> zrem zset-key member1
(integer) 1
127.0.0.1:6379> zrem zset-key member1
(integer) 0
127.0.0.1:6379> zrange zset-key 0 -1 withscores
1) "member0"
2) "982"

zset 是按照 分輸的大小來排序的。

小總結

型別 簡介 特性 場景
string(字串) 二進位制安全 可以包含任何資料,比如 jpg 圖片或者序列化的物件,一個鍵最大能儲存 521M ---
Hash(雜湊) 鍵值對集合,即程式語言中的 Map 型別 適合儲存物件,並且可以像資料庫中 update 一樣只修改某一項屬性值 儲存、讀取、修改使用者屬性
List(列表) 雙向連結串列 增刪快,提供了操作某一段元素的 API 1、最新訊息排行等功能(朋友圈的時間線)2、訊息佇列
Set(集合) 雜湊表實現,元素不能重複 新增刪除查詢的複雜度都是 O(1);為集合提供了求交集、並集、差集等操作 共同好友;利用唯一性,統計訪問網站的所有獨立 ip;好友推薦時,根據 tag 求交集,大於某個閾值就可以推薦
Zset(有序集合) 將 Set 中的元素增加一個權重引數 score,元素按 score 有序排列 資料插入集合時,已經進行天然排序 排行榜;帶權重的訊息佇列

基本命令

自行查閱

釋出訂閱

一般不用 Redis 做訊息釋出訂閱。

簡介

Redis 釋出訂閱 (pub/sub) 是一種訊息通訊模式:傳送者 (pub) 傳送訊息,訂閱者 (sub) 接收訊息。

Redis 客戶端可以訂閱任意數量的頻道。

下圖展示了頻道 channel1 , 以及訂閱這個頻道的三個客戶端 —— client2 、 client5 和 client1 之間的關係:


當有新訊息通過 PUBLISH 命令傳送給頻道 channel1 時, 這個訊息就會被髮送給訂閱它的三個客戶端:


例項

以下例項演示了釋出訂閱是如何工作的。在我們例項中我們建立了訂閱頻道名為 redisChat:

127.0.0.1:6379> SUBsCRIBE redisChat
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "redisChat"

現在,我們先重新開啟個 redis 客戶端,然後在同一個頻道 redisChat 釋出兩次訊息,訂閱者就能接收到訊息。

127.0.0.1:6379> PUBLISH redisChat "send message"
(integer) 1
127.0.0.1:6379> PUBLISH redisChat "hello world"
(integer) 1

# 訂閱者的客戶端顯示如下
1) "message"
2) "redisChat"
3) "send message"
1) "message"
2) "redisChat"
3) "hello world"

釋出訂閱常用命令

自行查閱

事務

redis 事務一次可以執行多條命令,伺服器在執行命令期間,不會去執行其他客戶端的命令請求。

事務中的多條命令被一次性發送給伺服器,而不是一條一條地傳送,這種方式被稱為流水線,它可以減少客戶端與伺服器之間的網路通訊次數從而提升效能。

Redis 最簡單的事務實現方式是使用 MULTI 和 EXEC 命令將事務操作包圍起來。

  • 批量操作在傳送 EXEC 命令前被放入佇列快取。
  • 收到 EXEC 命令後進入事務執行,事務中任意命令執行失敗,其餘命令依然被執行。也就是說 Redis 事務不保證原子性。
  • 在事務執行過程中,其他客戶端提交的命令請求不會插入到事務執行命令序列中。

一個事務從開始到執行會經歷以下三個階段:

  • 開始事務。
  • 命令入隊。
  • 執行事務。

例項

以下是一個事務的例子, 它先以 MULTI 開始一個事務, 然後將多個命令入隊到事務中, 最後由 EXEC 命令觸發事務, 一併執行事務中的所有命令:

redis 127.0.0.1:6379> MULTI
OK

redis 127.0.0.1:6379> SET book-name "Mastering C++ in 21 days"
QUEUED

redis 127.0.0.1:6379> GET book-name
QUEUED

redis 127.0.0.1:6379> SADD tag "C++" "Programming" "Mastering Series"
QUEUED

redis 127.0.0.1:6379> SMEMBERS tag
QUEUED

redis 127.0.0.1:6379> EXEC
1) OK
2) "Mastering C++ in 21 days"
3) (integer) 3
4) 1) "Mastering Series"
   2) "C++"
   3) "Programming"

單個 Redis 命令的執行是原子性的,但 Redis 沒有在事務上增加任何維持原子性的機制,所以 Redis 事務的執行並不是原子性的。

事務可以理解為一個打包的批量執行指令碼,但批量指令並非原子化的操作,中間某條指令的失敗不會導致前面已做指令的回滾,也不會造成後續的指令不做。

這是官網上的說明 From redis docs on transactions:

It's important to note that even when a command fails, all the other commands in the queue are processed – Redis will not stop the processing of commands.

比如:

redis 127.0.0.1:7000> multi
OK
redis 127.0.0.1:7000> set a aaa
QUEUED
redis 127.0.0.1:7000> set b bbb
QUEUED
redis 127.0.0.1:7000> set c ccc
QUEUED
redis 127.0.0.1:7000> exec
1) OK
2) OK
3) OK

如果在 set b bbb 處失敗,set a 已成功不會回滾,set c 還會繼續執行。

Redis 事務命令

下表列出了 redis 事務的相關命令:

序號 命令及描述
1 DISCARD 取消事務,放棄執行事務塊內的所有命令。
2 EXEC 執行所有事務塊內的命令。
3 MULTI 標記一個事務塊的開始。
4 UNWATCH 取消 WATCH 命令對所有 key 的監視。
5 WATCH key [key ...] 監視一個 (或多個) key ,如果在事務執行之前這個 (或這些) key 被其他命令所改動,那麼事務將被打斷。

持久化

Redis 是記憶體型資料庫,為了保證資料在斷電後不會丟失,需要將記憶體中的資料持久化到硬碟上。

RDB 持久化

將某個時間點的所有資料都存放到硬碟上。

可以將快照複製到其他伺服器從而建立具有相同資料的伺服器副本。

如果系統發生故障,將會丟失最後一次建立快照之後的資料。

如果資料量大,儲存快照的時間會很長。

AOF 持久化

將寫命令新增到 AOF 檔案(append only file)末尾。

使用 AOF 持久化需要設定同步選項,從而確保寫命令同步到磁碟檔案上的時機。這是因為對檔案進行寫入並不會馬上將內容同步到磁碟上,而是先儲存到緩衝區,然後由作業系統決定什麼時候同步到磁碟。

選項 同步頻率
always 每個寫命令都同步
eyerysec 每秒同步一次
no 讓作業系統來決定何時同步
  • always 選項會嚴重減低伺服器的效能
  • everysec 選項比較合適,可以保證系統崩潰時只會丟失一秒左右的資料,並且 Redis 每秒執行一次同步對伺服器幾乎沒有任何影響。
  • no 選項並不能給伺服器效能帶來多大的提升,而且會增加系統崩潰時資料丟失的數量。

隨著伺服器寫請求的增多,AOF 檔案會越來越大。Redis 提供了一種將 AOF 重寫的特性,能夠去除 AOF 檔案中的冗餘寫命令。

複製

通過使用 slaveof host port 命令來讓一個伺服器成為另一個伺服器的從伺服器。

一個從伺服器只能有一個主伺服器,並且不支援主主複製。

連線過程

  1. 主伺服器建立快照檔案,即 RDB 檔案,傳送給從伺服器,並在傳送期間使用緩衝區記錄執行的寫命令。快照檔案傳送完畢之後,開始像從伺服器傳送儲存在緩衝區的寫命令。
  2. 從伺服器丟棄所有舊資料,載入主伺服器發來的快照檔案,之後從伺服器開始接受主伺服器發來的寫命令。
  3. 主伺服器每執行一次寫命令,就向從伺服器傳送相同的寫命令。

主從鏈

隨著負載不斷上升,主伺服器無法很快的更新所有從伺服器,或者重新連線和重新同步從伺服器將導致系統超載。為了解決這個問題,可以建立一箇中間層來分擔主伺服器的複製工作。中間層的伺服器是最上層伺服器的從伺服器,又是最下層伺服器的主伺服器。


哨兵

Sentinel(哨兵)可以監聽叢集中的伺服器,並在主伺服器進入下線狀態時,自動從從伺服器中選舉處新的主伺服器。

分片

分片是將資料劃分為多個部分的方法,可以將資料儲存到多臺機器裡面,這種方法在解決某些問題時可以獲得線性級別的效能提升。

假設有 4 個 Redis 例項 R0, R1, R2, R3, 還有很多表示使用者的鍵 user:1, user:2, ... , 有不同的方式來選擇一個指定的鍵儲存在哪個例項中。

  • 最簡單的是範圍分片,例如使用者 id 從 0 ~ 1000 的儲存到例項 R0 中,使用者 id 從 1001 ~ 2000 的儲存到例項 R1中,等等。但是這樣需要維護一張對映範圍表,維護操作代價高。
  • 還有一種是雜湊分片。使用 CRC32 雜湊函式將鍵轉換為一個數字,再對例項數量求模就能知道儲存的例項。

根據執行分片的位置,可以分為三種分片方式:

  • 客戶端分片:客戶端使用一致性雜湊等演算法決定應當分佈到哪個節點。
  • 代理分片:將客戶端的請求傳送到代理上,由代理轉發到正確的節點上。
  • 伺服器分片:Redis Cluster。

參考資料

  • CyC2018
  • 菜鳥教程