Redis是一個鍵值對資料庫（key-value DB），下面是一個簡單的Redis的命令：
> SET msg "hello wolrd"
該命令將鍵“msg”、值“hello wolrd”這兩個字串儲存到Redis資料庫中。
本章分析Redis如何在記憶體中儲存這些字串。
redisObject
Redis中的資料物件server.h/redisObject是Redis對內部儲存的資料定義的抽象型別，在深入分析Redis資料型別前，我們先了解redisObject，它的定義如下：
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS;
int refcount;
void *ptr;
} robj;
- type：資料型別。
- encoding：編碼格式，即儲存資料使用的資料結構。同一個型別的資料，Redis會根據資料量、佔用記憶體等情況使用不同的編碼，最大限度地節省記憶體。
- refcount，引用計數，為了節省記憶體，Redis會在多處引用同一個redisObject。
- ptr：指向實際的資料結構，如sds，真正的資料儲存在該資料結構中。
- lru：24位，LRU時間戳或LFU計數。
redisObject負責裝載Redis中的所有鍵和值。redisObject.ptr指向真正儲存資料的資料結構，redisObject .refcount、redisObject.lru等屬性則用於管理資料（資料共享、資料過期等）。
提示：type、encoding、lru使用了C語言中的位段定義，這3個屬性使用同一個unsigned int的不同bit位。這樣可以最大限度地節省記憶體。
Redis定義了以下資料型別和編碼，如表1-1所示。
本書第1部分會對錶1-1中前五種資料型別進行分析，最後兩種資料型別會在第5部分進行分析。如果讀者現在對錶1-1中內容感到疑惑，則可以先帶著疑問繼續閱讀本書。
sds
我們知道，C語言中將空字元結尾的字元陣列作為字串，而Redis對此做了擴充套件，定義了字串型別sds（Simple Dynamic String）。
Redis鍵都是字串型別，Redis中最簡單的值型別也是字串型別，
字串型別的Redis值可用於很多場景，如快取HTML片段、記錄使用者登入資訊等。
定義
提示：本節程式碼如無特殊說明，均在sds.h/sds.c中。
對於不同長度的字串，Redis定義了不同的sds結構體：
typedef char *sds;
struct __attribute__ ((__packed__)) sdshdr5 {
unsigned char flags;
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t len;
uint8_t alloc;
unsigned char flags;
char buf[];
};
...
Redis還定義了sdshdr16、sdshdr32、sdshdr64結構體。為了版面整潔，這裡不展示sdshdr16、sdshdr32、sdshdr64 結構體的程式碼，它們與sdshdr8結構體基本相同，只是len、alloc屬性使用了 uint16_t、uint32、uint64_t型別。Redis定義不同sdshdr結構體是為了針對不同長度的字串，使用合適的len、alloc屬性型別，最大限度地節省記憶體。
- len：已使用位元組長度，即字串長度。sdshdr5可存放的字串長度小於32（25），sdshdr8可存放的字串長度小於256（28），以此類推。由於該屬性記錄了字串長度，所以sds可以在常數時間內獲取字串長度。Redis限制了字串的最大長度不能超過512MB。
- alloc：已申請位元組長度，即sds總長度。alloc-len為sds中的可用（空閒）空間。
- flag：低3位代表sdshdr的型別，高5位只在sdshdr5中使用，表示字串的長度，所以sdshdr5中沒有len屬性。另外，由於Redis對sdshdr5的定義是常量字串，不支援擴容，所以不存在alloc屬性。
- buf：字串內容，sds遵循C語言字串的規範，儲存一個空字元作為buf的結尾，並且不計入len、alloc屬性。這樣可以直接使用C語言strcmp、strcpy等函式直接操作sds。
提示：sdshdr結構體中的buf陣列並沒有指定陣列長度，它是C99規範定義的柔性陣列—結構體中最後一個屬性可以被定義為一個大小可變的陣列（該屬性前必須有其他屬性）。使用sizeof函式計算包含柔性陣列的結構體大小，返回結果不包括柔性陣列佔用的記憶體。
另外，attribute((packed))關鍵字可以取消結構體內的位元組對齊以節省記憶體。
操作分析
接下來看一下sds構建函式：
sds sdsnewlen(const void *init, size_t initlen) {
void *sh;
sds s;
// [1]
char type = sdsReqType(initlen);
// [2]
if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
// [3]
int hdrlen = sdsHdrSize(type);
unsigned char *fp; /* flags pointer. */
sh = s_malloc(hdrlen+initlen+1);
...
// [4]
s = (char*)sh+hdrlen;
fp = ((unsigned char*)s)-1;
switch(type) {
case SDS_TYPE_5: {
*fp = type | (initlen << SDS_TYPE_BITS);
break;
}
case SDS_TYPE_8: {
SDS_HDR_VAR(8,s);
sh->len = initlen;
sh->alloc = initlen;
*fp = type;
break;
}
...
}
if (initlen && init)
memcpy(s, init, initlen);
s[initlen] = '\0';
// [5]
return s;
}
引數說明：
- init、initlen：字串內容、長度。
【1】根據字串長度，判斷對應的sdshdr型別。
【2】長度為0的字串後續通常需要擴容，不應該使用sdshdr5，所以這裡轉換為sdshdr8。
【3】sdsHdrSize函式負責查詢sdshdr結構體的長度，s_malloc函式負責申請記憶體空間，申請的記憶體空間長度為hdrlen+initlen+1，其中hdrlen為sdshdr結構體長度（不包含buf屬性），initlen為字串內容長度，最後一個位元組用於存放空字元“\0”。s_malloc與C語言的malloc函式的作用相同，負責分配指定大小的記憶體空間。
【4】給sdshdr屬性賦值。
SDS_HDR_VAR是一個巨集，負責將sh指標轉化為對應的sdshdr結構體指標。
【5】注意，sds實際上就是char*的別名，這裡返回的s指標指向sdshdr.buf屬性，即字串內容。Redis通過該指標可以直接讀/寫字串資料。
構建一個內容為“hello wolrd”的sds，其結構如圖1-1所示。
sds的擴容機制是一個很重要的功能。
sds sdsMakeRoomFor(sds s, size_t addlen) {
void *sh, *newsh;
// [1]
size_t avail = sdsavail(s);
size_t len, newlen;
char type, oldtype = s[-1] & SDS_TYPE_MASK;
int hdrlen;
if (avail >= addlen) return s;
// [2]
len = sdslen(s);
sh = (char*)s-sdsHdrSize(oldtype);
newlen = (len+addlen);
// [3]
if (newlen < SDS_MAX_PREALLOC)
newlen *= 2;
else
newlen += SDS_MAX_PREALLOC;
// [4]
type = sdsReqType(newlen);
if (type == SDS_TYPE_5) type = SDS_TYPE_8;
// [5]
hdrlen = sdsHdrSize(type);
if (oldtype==type) {
newsh = s_realloc(sh, hdrlen+newlen+1);
if (newsh == NULL) return NULL;
s = (char*)newsh+hdrlen;
} else {
newsh = s_malloc(hdrlen+newlen+1);
if (newsh == NULL) return NULL;
memcpy((char*)newsh+hdrlen, s, len+1);
s_free(sh);
s = (char*)newsh+hdrlen;
s[-1] = type;
sdssetlen(s, len);
}
// [6]
sdssetalloc(s, newlen);
return s;
}
引數說明：
addlen：要求擴容後可用長度（alloc-len）大於該引數。
【1】獲取當前可用空間長度。如果當前可用空間長度滿足要求，則直接返回。
【2】sdslen負責獲取字串長度，由於sds.len中記錄了字串長度，該操作複雜度為O(1)。這裡len變數為原sds字串長度，newlen變數為新sds長度。sh指向原sds的sdshdr結構體。
【3】預分配比引數要求多的記憶體空間，避免每次擴容都要進行記憶體拷貝操作。新sds長度如果小於SDS_MAX_PREALLOC（預設為1024×1024，單位為位元組），則新sds長度自動擴容為2倍。否則，新sds長度自動增加SDS_MAX_PREALLOC。
【4】sdsReqType(newlen)負責計算新的sdshdr型別。注意，擴容後的型別不使用sdshdr5，該型別不支援擴容操作。
【5】如果擴容後sds還是同一型別，則使用s_realloc函式申請記憶體。否則，由於sds結構已經變動，必須移動整個sds，直接分配新的記憶體空間，並將原來的字串內容複製到新的記憶體空間。s_realloc與C語言realloc函式的作用相同，負責為給定指標重新分配給定大小的記憶體空間。它會嘗試在給定指標原地址空間上重新分配，如原地址空間無法滿足要求，則分配新記憶體空間並複製內容。
【6】更新sdshdr.alloc屬性。
對上面“hello wolrd”的sds呼叫sdsMakeRoomFor(sds,64)，則生成的sds如圖1-2所示。
從圖1-2中可以看到，使用len記錄字串長度後，字串中可以存放空字元。Redis字串支援二進位制安全，可以將使用者的輸入儲存為沒有任何特定格式意義的原始資料流，因此Redis字串可以儲存任何資料，比如圖片資料流或序列化物件。C語言字串將空字元作為字串結尾的特定標記字元，它不是二進位制安全的。
sds常用函式如表1-2所示。
| 函式 | 作用 |
|---|---|
| sdsnew，sdsempty | 建立sds |
| sdsfree，sdsclear，sdsRemoveFreeSpace | 釋放sds，清空sds中的字串內容，移除sds剩餘的可用空間 |
| sdslen | 獲取sds字串長度 |
| sdsdup | 將給定字串複製到sds中，覆蓋原字串 |
| sdscat | 將給定字串拼接到sds字串內容後 |
| sdscmp | 對比兩個sds字串是否相同 |
| sdsrange | 獲取子字串，不在指定範圍內的字串將被清除 |
編碼
字串型別一共有3種編碼：
- OBJ_ENCODING_EMBSTR：長度小於或等於OBJ_ENCODING_EMBSTR_SIZE_LIMIT（44位元組）的字串。
在該編碼中，redisObject、sds結構存放在一塊連續記憶體塊中，如圖1-3所示。
OBJ_ENCODING_EMBSTR編碼是Redis針對短字串的優化，有如下優點：
(1)記憶體申請和釋放都只需要呼叫一次記憶體操作函式。
(2)redisObject、sdshdr結構儲存在一塊連續的記憶體中，減少了記憶體碎片。
- OBJ_ENCODING_RAW：長度大於OBJ_ENCODING_EMBSTR_SIZE_LIMIT的字串，在該編碼中，redisObject、sds結構存放在兩個不連續的記憶體塊中。
- OBJ_ENCODING_INT：將數值型字串轉換為整型，可以大幅降低資料佔用的記憶體空間，如字串“123456789012”需要佔用12位元組，在Redis中，會將它轉化為long long型別，只佔用8位元組。
我們向Redis傳送一個請求後，Redis會解析請求報文，並將命令、引數轉化為redisObjec。
object.c/createStringObject函式負責完成該操作：
robj *createStringObject(const char *ptr, size_t len) {
if (len <= OBJ_ENCODING_EMBSTR_SIZE_LIMIT)
return createEmbeddedStringObject(ptr,len);
else
return createRawStringObject(ptr,len);
}
可以看到，這裡根據字串長度，將encoding轉化為OBJ_ENCODING_RAW或OBJ_ENCODING_EMBSTR的redisObject。
將引數轉換為redisObject後，Redis再將redisObject存入資料庫，例如：
> SET Introduction "Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. "
Redis會將鍵“Introduction”、值“Redis...”轉換為兩個redisObject，再將redisObject存入資料庫，結果如圖1-4所示。
Redis中的鍵都是字串型別，並使用OBJ_ENCODING_RAW、OBJ_ENCODING_ EMBSTR編碼，而Redis還會嘗試將字串型別的值轉換為OBJ_ENCODING_INT 編碼。object.c/tryObjectEncoding函式完成該操作：
robj *tryObjectEncoding(robj *o) {
long value;
sds s = o->ptr;
size_t len;
...
// [1]
if (o->refcount > 1) return o;
len = sdslen(s);
// [2]
if (len <= 20 && string2l(s,len,&value)) {
// [3]
if ((server.maxmemory == 0 ||
!(server.maxmemory_policy & MAXMEMORY_FLAG_NO_SHARED_INTEGERS)) &&
value >= 0 &&
value < OBJ_SHARED_INTEGERS)
{
decrRefCount(o);
incrRefCount(shared.integers[value]);
return shared.integers[value];
} else {
// [4]
if (o->encoding == OBJ_ENCODING_RAW) {
sdsfree(o->ptr);
o->encoding = OBJ_ENCODING_INT;
o->ptr = (void*) value;
return o;
} else if (o->encoding == OBJ_ENCODING_EMBSTR) {
// [5]
decrRefCount(o);
return createStringObjectFromLongLongForValue(value);
}
}
}
// [6]
if (len <= OBJ_ENCODING_EMBSTR_SIZE_LIMIT) {
robj *emb;
if (o->encoding == OBJ_ENCODING_EMBSTR) return o;
emb = createEmbeddedStringObject(s,sdslen(s));
decrRefCount(o);
return emb;
}
// [7]
trimStringObjectIfNeeded(o);
return o;
}
【1】該資料物件被多處引用，不能再進行編碼操作，否則會影響其他地方的正常執行。
【2】如果字串長度小於或等於20，則呼叫string2l函式嘗試將其轉換為long long型別，如果成功則返回1。
在C語言中，long long佔用8位元組，取值範圍是-9223372036854775808～9223372036854775807，因此最多能儲存長度為19的字串轉換後的數值，加上負數的符號位，一共20位。
下面是字串可以轉換為OBJ_ENCODING_INT 編碼的處理步驟。
【3】首先嚐試使用shared.integers中的共享資料，避免重複建立相同資料物件而浪費記憶體。shared是Redis啟動時建立的共享資料集，存放了Redis中常用的共享資料。shared.integers是一個整數陣列，存放了小數字0～9999，共享於各個使用場景。
注意：如果配置了server.maxmemory，並使用了不支援共享資料的淘汰演算法（LRU、LFU），那麼這裡不能使用共享資料，因為這時每個資料中都必須存在一個redisObjec.lru屬性，這些演算法才可以正常工作。
【4】如果不能使用共享資料並且原編碼格式為OBJ_ENCODING_RAW，則將redisObject.ptr原來的sds型別替換為字串轉換後的數值。
【5】如果不能使用共享資料並且原編碼格式為OBJ_ENCODING_EMBSTR，由於redisObject、sds存放在同一個記憶體塊中，無法直接替換redisObject.ptr，所以呼叫createString- ObjectFromLongLongForValue函式建立一個新的redisObject，編碼為OBJ_ENCODING_INT，redisObject.ptr指向long long型別或long型別。
【6】到這裡，說明字串不能轉換為OBJ_ENCODING_INT 編碼，嘗試將其轉換為OBJ_ENCODING_EMBSTR編碼。
【7】到這裡，說明字串只能使用OBJ_ENCODING_RAW編碼，嘗試釋放sds中剩餘的可用空間。
字串型別的實現程式碼在t_string.c中，讀者可以檢視原始碼瞭解更多實現細節。
提示：server.c/redisCommandTable定義了每個Redis命令與對應的處理函式，讀者可以從這裡查詢感興趣的命令的處理函式。
struct redisCommand redisCommandTable[] = {
...
{"get",getCommand,2,
"read-only fast @string",
0,NULL,1,1,1,0,0,0},
{"set",setCommand,-3,
"write use-memory @string",
0,NULL,1,1,1,0,0,0},
...
}
GET命令的處理函式為getCommand，SET命令的處理函式為setCommand，以此類推。
另外，我們可以通過TYPE命令檢視資料物件型別，通過OBJECT ENCODING命令檢視編碼：
> SET msg "hello world"
OK
> TYPE msg
string
> OBJECT ENCODING msg
"embstr"
> SET Introduction "Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. "
OK
> TYPE Introduction
string
> OBJECT ENCODING info
"raw"
> SET page 1
OK
> TYPE page
string
> OBJECT ENCODING page
"int"
總結：
- Redis中的所有鍵和值都是redisObject變數。
- sds是Redis定義的字串型別，支援二進位制安全、擴容。
- sds可以在常數時間內獲取字串長度，並使用預分配記憶體機制減少記憶體拷貝次數。
- Redis對資料編碼的主要目的是最大限度地節省記憶體。字串型別可以使用OBJ_ENCODING_ RAW、OBJ_ENCODING_EMBSTR、OBJ_ENCODING_INT編碼格式。
本文內容摘自作者新書《Redis核心原理與實踐》，這本書深入地分析了Redis常用特性的內部機制與實現方式，大部分內容源自對Redis原始碼的分析，並從中總結出設計思路、實現原理。通過閱讀本書，讀者可以快速、輕鬆地瞭解Redis的內部執行機制。
經過該書編輯同意，我會繼續在個人技術公眾號（binecy）釋出書中部分章節內容，作為書的預覽內容，歡迎大家查閱，謝謝。