1. 程式人生 > >面試官:你瞭解過Redis物件底層實現嗎

面試官:你瞭解過Redis物件底層實現嗎

上一章我們講了Redis的底層資料結構,不瞭解的人可能會有疑問:這個和平時用的五大物件有啥關係呢?這一章我們就主要解釋他們所建立的聯絡。

看這個文章之前,如果對ziplist、skiplist、intset等資料結構不熟悉的話,建議先回顧一下上一章節:面試官:你看過Redis資料結構底層實現嗎?

0. 五類物件分別是什麼

五類物件就是我們常用的string、list、set、zset、hash

1. 為什麼要有物件

我們平時主要是通過操作物件的api來操作redis,而不是通過它的呼叫它底層資料結構來完成(外觀模式)。但我們還需要了解其底層,只有這樣才能寫最優化高效的程式碼。

  1. 跟java一樣,物件使開發更方便簡潔,降低開發門檻。開發者不需要了解其複雜的底層API,直接呼叫高層介面即可實現開發。

  2. Redis根據物件型別來判斷命令是否違法,如果你set key value1 value2就報錯。

  3. 物件下可以包含多種資料結構,使資料儲存更加多型化。(下面主講)

  4. Reids基於物件做了垃圾回收(引用計數法)。

  5. 物件帶有更豐富的屬性,來幫助redis實現更高階的功能。(比如物件的閒置時間)。

2. Redis物件(RedisObject)原始碼分析

typedef struct redisObject {

    // 型別
    unsigned type:4;

    // 編碼
    unsigned encoding:4;

    // 指向底層實現資料結構的指標
    void *ptr;

    // ...

} robj;

 

type欄位

記錄物件型別。

我們平時用的命令type <key>,其實就是返回這個欄位的屬性。

 

127.0.0.1:6379> set hello world
OK
127.0.0.1:6379> type hello
string
127.0.0.1:6379> rpush list 1 2 3
(integer) 3
127.0.0.1:6379> type list
list
...

 

那type有多少中型別呢?看下面這個表:

encoding欄位

記錄物件使用的編碼(資料結構),Reids中稱資料結構為encoding。

我們可以這樣檢視我們redis物件中的encoding:

127.0.0.1:6379> object encoding hello
"embstr"
127.0.0.1:6379> object encoding list
"quicklist"
...

 

既然它是標明該redisObject是使用的什麼資料結構,那肯定也有個對應的表:

我們可以看到,Redis對物件的底層encoding分的很細,String型別就有三個,其它四個物件都分別有兩種不同的底層資料結構的實現。他們有一規律,就是用ziplistintsetembstr來實現少量的資料,資料量一旦龐大,就會升級到skiplistrawlinkedlistht來實現,後面我會仔細講解。

3. 分別分析各個物件的底層編碼實現(資料結構)

3.1 字串(string)

字串編碼有三個:int、raw、embstr。

3.1.1 int

當string物件的值全部是數字,就會使用int編碼。

127.0.0.1:6379> set number 123455
OK
127.0.0.1:6379> object encoding number
"int"
3.1.2 embstr

字串或浮點數長度小於等於39位元組,就會使用embstr編碼方式來儲存,embstr儲存記憶體一般很小,所以redis一次性分配且記憶體連續(效率高)。

127.0.0.1:6379> set shortStr "suwe suwe suwe"
OK
127.0.0.1:6379> object encoding shortStr
"embstr"

 

3.1.2 raw

當一個字串或浮點數長度大於39位元組,就使用SDS來儲存,編碼為raw,由於不確定值的位元組大小,所以鍵和值各分配各的,所以就分配兩次記憶體(回收也是兩次),同理它一定不是記憶體連續的。

127.0.0.1:6379> set longStr "hello everyone, we dont need to sleep around to go aheard! do you think?"
OK
127.0.0.1:6379> object encoding longStr
"raw"

 

3.1.3 編碼轉換

前面說過,Redis會自動對編碼進行轉換來適應和優化資料的儲存。

int->raw

條件:數字物件進行append字母,就會發生轉換。

127.0.0.1:6379> object encoding number
"int"
127.0.0.1:6379> append number " is a lucky number"
(integer) 24
127.0.0.1:6379> object encoding number
"raw"

 

embstr->raw

條件:對embstr進行修改,redis會先將其轉換成raw,然後才進行修改。所以embstr實際上是隻讀性質的。

127.0.0.1:6379> object encoding shortStr
"embstr"
127.0.0.1:6379> append shortStr "(hhh"
(integer) 18
127.0.0.1:6379> object encoding shortStr
"raw"

 

3.2 列表(list)

列表物件編碼可以是:ziplist或linkedlist。

  1. ziplist壓縮列表不知道大家還記得不,就是zlbytes zltail zllen entry1 entry2 ..end結構,entry節點裡有pre-length、encoding、content屬性,忘記的可以返回去看下。

  2. linkedlist,類似雙向連結串列,也是上一章的知識。

3.2.1 編碼轉換

ziplist->linkedlist

條件:列表物件的所有字串元素的長度大於等於64位元組 & 列表元素數大於等於512. 反之,小於64和小於512會使用ziplist而不是用linkedlist。

這個閾值是可以修改的,修改選項:list-max-ziplist-valuelist-max-ziplist-entriess

3.3 雜湊(hash)

雜湊物件的編碼有:ziplist和hashtable

3.3.1 編碼轉換

ziplist->hashtable

條件:雜湊物件所有鍵和值字串長度大於等於64位元組 & 鍵值對數量大於等於512

這個閾值也是可以修改的,修改選項:hash-max-ziplist-valuehash-max-ziplist-entriess

3.4. 集合(set)

集合物件的編碼有:intset和hashtable

3.4.1 intset
  1. 集合物件所有元素都是整數

  2. 集合物件元素數不超過512個

3.4.2 編碼轉換

intset->hashtable

條件:元素不都是整數 & 元素數大於等於512

3.5. 有序集合(zset)

有序集合用到的編碼:ziplist和skiplist

大家可能很好奇阿,ziplist的entry中只有屬性content可以存放資料,集合也是key-value形式,那怎麼儲存呢?

第一個節點儲存key、第二個節點儲存value 以此類推...

3.5.1 為什麼要用這兩個編碼
  1. 如果只用ziplist來實現,無法做到元素的排序,不支援範圍查詢,能做到元素的快速查詢。

  2. 如果只用skiplist來實現,無法做到快速查詢,但能做到元素排序、範圍操作。

3.5.2 編碼轉換

ziplist->skiplist

條件:有序集合元素數 >= 128 & 含有元素的長度 >= 64

這個閾值也是可以修改的,修改選項:zset-max-ziplist-valuezset-max-ziplist-entriess

4. 垃圾回收

為什麼要說記憶體回收呢,因為redisObject有一個欄位:

typedef struct redisObject {

    // ...

    // 引用計數
    int refcount;

    // ...

} robj;

 

redis的垃圾回收採用引用計數法(和jvm一樣),底層採用一個變數對物件的使用行為進行計數。

  • 初始化為1

  • 物件被引用,+1

  • 物件引用消除,-1

  • 計數器==0, 回收物件

5. 物件共享

5.1 物件共享的體現

  1. redis中,值是整數值且相等的兩個物件,redis會將該物件進行共享,且引用計數+1

  2. redis啟動會自動生成0-9999的整數值放到記憶體中來共享。

5.2 為什麼要物件共享

節約記憶體

5.3 為什麼不對字串進行共享

成本太高。

驗證整數相等只需要O(1)的時間複雜度,而驗證字串要O(n).

6. 物件的空閒時長

最後,redisObject還有一個欄位,記錄了物件最後一次被訪問的時間:

typedef struct redisObject {

    // ...

    unsigned lru:22;

    // ...

} robj;

 

因為這個欄位記錄物件最後一次被訪問的時間,所以它可以用來檢視該物件多久未使用,即:用當前時間-lru

127.0.0.1:6379> object idletime hello
(integer) 5110

 

它還關係到redis的熱點資料實現,如果我們選擇lr演算法,當記憶體超出閾值後會對空閒時長較高的物件進行釋放,回收記憶體。

參考文獻:

  1. 《Redis設計與實現》黃健巨集著

  2. http://redisbook.com/index.html