Redis中的簡單動態字符串

阿新 • • 發佈：2019-01-28

資料惰性壓縮 bubuko 假設緩沖區空字符分享 literal

Redis沒有直接使用C語言傳統的字符串表示（以空字符結尾的字符數組，以下簡稱C字符串），而是自己構建了一種名為簡單動態字符串（simple dynamic string，SDS）的抽象類型，並將SDS用作Redis的默認字符串表示。
在Redis裏面，C字符串只會作為字符串字面量（string literal）用在一些無須對字符串值進行修改的地方，比如打印日誌。
當Redis需要的不僅僅是一個字符串字面量，而是一個可以被修改的字符串值時，Redis就會使用SDS來表示字符串值，比如Redis的數據庫裏面，包含字符串的鍵值對在底層都是由SDS實現的。
舉個例子：
技術分享圖片

那麽Redis將在數據庫中創建一個新的鍵值對，其中：

鍵值對的健是一個字符串對象，對象的底層實現是一個保存著字符串"msg"的SDS。
鍵值對的值也是一個字符串對象，對象的底層實現是一個保存著字符串"hello world"的SDS。

又比如:
技術分享圖片

那麽Redis將在數據庫中創建一個新的鍵值對，其中：

鍵值對的健是一個字符串對象，對象的底層實現是一個保存了字符串"fruits"的SDS。
鍵值對的值是一個列表對象，列表對象包含了三個字符串對象，這三個字符串對象分別由三個SDS實現：第一個SDS保存著字符串"apple"，第二個SDS保存著字符串"banana"，第三個SDS保存著字符串"cherry"。

除了用來保存數據庫中的字符串值之外，SDS還被用作緩沖區（buffer）：AOF模塊中的AOF緩沖區，以及客戶端狀態中的輸入緩沖區，都是由SDS實現的，在之後介紹AOF持久化和客戶端的時候，我們會看到SDS在這兩個模塊中的應用。

SDS的定義

每個sds.h/sdshdr結構表示一個SDS值：

// 記錄buf數據中已使用字節的數量
// 等於SDS所保存字符串的長度
int len;

// 記錄buf數組中未使用字節的數量
int free;

// 字節數組，用於保存字符串
char buf[];

下圖展示了一個SDS示例：
技術分享圖片

free屬性的值為0，表示這個SDS沒有分配任何未使用空間。
len屬性的值為5，表示這個SDS保存了一個5字節長的字符串。

buf屬性是一個char類型的數組，數組的前5歌字節分別保存了‘R‘、‘e‘、‘d‘、‘i‘、‘s‘五個字符，而最後一個字節則保存了空字符‘\0‘。

SDS遵循C字符串以空字符結尾的慣例，保存空字符的1字節空間不計算在SDS的len屬性裏面，並且為空字符分配額外的1字節空間，以及添加空字符到字符串末尾等操作，都是由SDS函數自動完成的，所以這個空字符對於SDS的使用者來說是完全透明的。

下圖展示了另一個SDS示例。
技術分享圖片

這個SDS和之前展示的SDS一樣，都保存了字符串值"Redis"。這個SDS和之前展示的SDS區別在於，這個SDS為buf數組分配了5字節未使用空間，所以它的free屬性的值為5。

SDS與C字符串的區別

根據傳統，C語言使用長度為N+1的字符串組來表示長度為N的字符串，並且字符串數組的最後一個元素總是空字符串‘\0‘。

下圖為展示一個值為"Redis"的C字符串。

技術分享圖片

C語言使用的這種簡單的字符串表示方式，並不能滿足Redis對字符串在安全行、效率以及功能方面的要求。

常數復雜度獲取字符串長度

因為C字符串並不記錄自身的長度信息，所以為了獲取一個C字符串的長度，程序必須遍歷整個字符串，對於道德每個字符進行計數，直到遇到代表字符串結尾的空字符為止，這個操作的復雜度為O(N)。
舉個例子，下圖展示了程序計算一個C字符串長度的過程。
技術分享圖片

和C字符串不同，因為SDS在len屬性中記錄了SDS本身的長度，所以獲取一個SDS長度的復雜度僅為O(1)。設置和更新SDS長度的工作是由SDS的API在執行時自動完成的，使用SDS無須進行任何手動修改長度的工作。

通過使用SDS而不是C字符串，Redis講獲取字符串長度所需的復雜度從O(N)降低到了O(1)，這確保了獲取字符串長度的工作不會成為Redis的性能瓶頸。

杜絕緩沖區溢出

除了獲取字符串長度的復雜度高之外，C字符串不記錄自身長度帶來的另一個問題是容易造成緩沖區溢出（buffer overflow）。舉個例子，<string.h>/strcat函數可以將src字符串中的內容拼接到dest字符串的末尾：

char strcat(char dest, const char *src);

因為C字符串不記錄自身的長度，所以strcat假定用戶在執行這個函數時，已經為dest分配了足夠多的內存，可以容納src字符串中的所有內容，而一旦這個假定不成立時，就會產生緩沖區溢出。

舉個例子，假設程序裏有兩個在內存中緊鄰著的C字符串S1和S2，其中S1保存了字符串"Redis"，而S2保存了字符串"MongoDB"，如下圖所示：
技術分享圖片

如果一個程序員決定通過執行：

strcat(S1, " Cluster");

將S1的內容修改為了"Redis Cluster"，但粗心的他卻忘了在執行strcat之前為S1分配足夠的空間，那麽在strcat函數執行之後，S1的數據將溢出到S2所在的空間中，導致S2保存的內容被意外地修改，如下圖所示：
技術分享圖片

與C字符串不同，SDS的空間分配策略完全杜絕了發生緩沖區溢出的可能性：當SDS API需要對SDS進行修改時，API會先檢查SDS的空間是否滿足修改所需的要求，如果不滿足的話，API會自動將SDS的空間擴展至執行修改所需的大小，然後才執行實際的修改操作，所以使用SDS既不需要手動修改SDS的空間大小，也不會出現前面所說的緩沖區溢出問題。

舉個例子，SDS的API裏面也有一個用於執行拼接操作的sdscat函數，它可以將一個C字符串拼接到給定SDS所保存的字符串的後面，但是在執行拼接操作之前，sdscat會先檢查給定SDS的空間是否足夠，如果不夠的話，sdscat就會擴展SDS的空間，然後才會執行拼接操作。

例如，如果我們執行：

sdscat(s, " Cluster");

其中SDS值s如下圖所示：
技術分享圖片

那麽sdscat將在執行拼接操作之前檢查s的長度是否足夠，在發現s目前的空間不足以拼接" Cluster"之後，sdscat就會先擴展s的空間，然後才執行拼接" Cluster"的操作，拼接操作完成之後的SDS如下圖所示：
技術分享圖片

減少修改字符串時帶來的內存重分配次數

因為C字符串並不會記錄自身的長度，所以對於一個包含了N個字符的C字符串來說，這個C字符串的底層實現總是一個N+1個字符長的數組。因為C字符串的長度和底層數組的長度之間存在著這種關聯性，所以每次增長或者縮短一個C字符串，程序都總要對保存這個C字符串的數組進行一次內存重分配操作：

如果程序執行的是增長字符串的操作，比如拼接操作（append），那麽在執行這個操作之前，程序需要先通過內存重分配來擴展底層數組的空間大小——如果忘了這一步就會產生緩沖區溢出。
如果程序執行的是縮短字符串的操作，比如截斷操作（trim），那麽在執行這個操作之後，程序需要通過內存重分配來釋放字符串不再使用的那部分空間——如果忘了這一步就會產生內存泄漏。

因為內存重分配設計復雜的算法，並且可能需要執行系統調用，所以它通常是一個比較耗時的操作：

在一般程序中，入宮修改字符長度的情況不太常出現，那麽每次修改都執行一次內存重分配是可以接受的。
但是Redis作為數據庫，經常被用於速度要求嚴苛，數據被頻繁修改的場合，如果每次修改字符串的長度都需要執行一次內存重分配的話，那麽光是執行內存重分配的時間就會占去字符串所用時間的一大部分，如果這種修改頻繁地發生的話，可能還會對性能造成影響。

為了避免C字符串的這種缺陷，SDS通過未使用空間解除了字符串長度和底層數組長度的之間的關聯：在SDS中，buf數組的長度不一定就是字符數量加一，數組裏面可以包含未使用的字節，而這些字節的數量就由SDS的free屬性記錄。
通過未使用空間，SDS實現了空間預分配和惰性空間釋放兩種優化策略。

1.空間預分配

空間預分配用於優化SDS的字符串增長操作：當SDS的API對一個SDS進行修改，並且需要對SDS進行空間擴展的時候，程序不僅會為SDS分配修改所必要的空間，還會為SDS分配額外的未使用空間。

2.惰性空間釋放

惰性空間釋放用於優化SDS的字符串縮短操作：當SDS的API需要縮短SDS保存的字符串時，程序並不立即使用內存重分配來回收縮短後多出來的字節，而是使用free屬性將這些字節的數量記錄起來，並等待將來使用。

二進制安全

C字符串中的字符必須符合某種編碼（比如ASCII），並且除了字符串的末尾之外，字符串裏面不能包含空字符，否則最先被程序讀入的空字符將被誤認為是字符串結尾，這些限制使得C字符串只能保存文本數據，而不能保存像圖片、音頻、視頻、壓縮文件這樣的二進制數據。

為了確保Redis可以適用各種不同的使用場景，SDS的API都是二進制安全的（binary-safe）。通過使用二進制安全的SDS，而不是C字符串，使得Redis不僅可以保存文本數據，還可以保存任意格式的二進制數據。

參考資料

《Redis設計與實現》

Redis中的簡單動態字符串

Redis中的簡單動態字符串

SDS的定義