當一個集合中只包含整數，並且元素的個數不是很多的話，redis 會用整數集合作為底層儲存，它的一個優點就是可以節省很多記憶體，雖然字典結構的效率很高，但是它的實現結構相對複雜並且會分配較多的記憶體空間。

而我們的整數集合（intset）可以做到使用較少的記憶體空間卻達到和字典一樣效率的實現，但也是前提的，集合中只能包含整型資料並且數量不能太多。整數集合最多能存多少個元素在 redis 中也是有體現的。

OBJ_SET_MAX_INTSET_ENTRIES 512

也就是超過 512 個元素，或者向集合中添加了字串或其他資料結構，redis 會將整數集合向字典結構進行轉換。

一、基本的資料結構

intset 的結構定義很簡單，有以下成員構成：

typedef struct intset {
    uint32_t encoding;
    uint32_t length;
    int8_t contents [];
} intset;

encoding 記錄當前 intset 使用編碼，有三個取值：

#define INTSET_ENC_INT16 (sizeof(int16_t))
#define INTSET_ENC_INT32 (sizeof(int32_t))
#define INTSET_ENC_INT64 (sizeof(int64_t))

length 記錄整數集合中目前儲存了多少個元素，contents 記錄我們實際的資料集合，雖然我們看到結構體中給陣列元素的型別定死成 int8_t，但實際上這個 int8_t 定義的毫無意義，因為這裡的處理方式非常規的陣列操作，content 欄位雖然被定義成指向一個 int8_t 型別資料的指標，但實際上 redis 無論是讀取陣列元素還是新增元素進去都依賴 encoding 和 length 兩個欄位直接操作的記憶體。

基本資料結構還是非常的簡單的，下面我們來看看它的一些核心方法。

二、核心 API 實現

1、初始化一個 intset

intset *intsetNew(void) {
    intset *is = zmalloc(sizeof(intset));
    is->encoding = intrev32ifbe(INTSET_ENC_INT16);
    is->length = 0;
    return is;
}

可見，預設的 inset 配置是使用 INTSET_ENC_INT16 作為資料儲存大小，並且不會為 content 陣列初始化。常規的陣列需要先預先確定陣列長度，然後分配記憶體，繼而通過 contents[x] 可以訪問陣列中任一元素。

但是，inset 這裡是非常規式運算元組，encoding 欄位定義了陣列中每個元素實際型別，lenth 欄位定義了陣列中實際的元素個數，那麼 contents[x] 是失效的，這種方式只會按照 int8_t 進行記憶體偏移，這種方式是拿不到正確的資料的，所以 redis 中通過 memcpy 按照 encoding 欄位的值暴力直接偏移地址操作記憶體讀取資料。

所以，這也是為什麼 intset 初始化時不初始化 content 陣列的原因所在，因為沒有必要。而每當新增一個元素的時候都會去動態擴容原陣列的長度以盛放下新插入進來的元素，擴容不會擴容很多，剛好一個新元素所佔用的記憶體即可。具體的細節，我們接著看。

2、新增新元素

intset *intsetAdd(intset *is, int64_t value, uint8_t *success) {
    //計算得到新插入的元素的編碼
    uint8_t valenc = _intsetValueEncoding(value);
    uint32_t pos;
    if (success) *success = 1;
    //如果大於 intset 目前儲存元素的編碼大小
    if (valenc > intrev32ifbe(is->encoding)) {
        //觸發 intset 升級
        return intsetUpgradeAndAdd(is,value);
    } else {
        //二分搜尋當前元素，如果元素已經存在會直接返回
        //如果沒找到元素，pos 的值就是該元素的位置索引
        if (intsetSearch(is,value,&pos)) {
            if (success) *success = 0;
            return is;
        }
        //resize 集合，擴容一個元素的記憶體空間
        is = intsetResize(is,intrev32ifbe(is->length)+1);
        //移動 pos 後面的元素，以插入我們的新元素
        if (pos < intrev32ifbe(is->length)) intsetMoveTail(is,pos,pos+1);
    }
    //賦值
    _intsetSet(is,pos,value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

由此，我們應該知道為什麼 intset 內的資料是有序且無重複的了，二分查詢 O(logN)，但是 intset 插入一個元素卻不是 O(logN)，因為有些情況會觸發升級操作，或者極端情況下，會移動所有元素，時間複雜度達到 O(N)。

3、升級

我們先看示意圖的變化，然後再分析原始碼，假設原 intset 使用 16 位的編碼儲存資料，先來了一個 32 位的資料，觸發了我們的編碼升級。

原 intset 結構如下：

新 intset 結構會擴容成這樣：

雖然資料佔用的記憶體已經分配好了，但是還需要做的是遷移每個元素佔用的位元位。
做法是這樣的，假設我們的新元素是 int_32 型別的數值 65536，那麼首先我們會將這個 65536 放到[128-159]位元位區間，然後將 78 放到[96-127]位元位區間，並向前以此類推，最後我們會得到升級完成之後 intset。

下面我們看 redis 中程式碼的實現：

static intset *intsetUpgradeAndAdd(intset *is, int64_t value) {
    //intset目前的編碼
    uint8_t curenc = intrev32ifbe(is->encoding);
    //intset即將擴充套件到的編碼
    uint8_t newenc = _intsetValueEncoding(value);
    int length = intrev32ifbe(is->length);
    int prepend = value < 0 ? 1 : 0;

    //根據新的元素記憶體大小重新分配 intset 記憶體大小
    is->encoding = intrev32ifbe(newenc);
    is = intsetResize(is,intrev32ifbe(is->length)+1);
    //這個地方我先標記一下 @1，下面詳細分析
    //總體上你可以理解，就是我們上圖畫的那樣，從原集合的最後一個元素
    //開始擴大它佔用的位元位
    while(length--)
        _intsetSet(is,length+prepend,_intsetGetEncoded(is,length,curenc));

    //將新元素放進 intset 中
    if (prepend)
        _intsetSet(is,0,value);
    else
        _intsetSet(is,intrev32ifbe(is->length),value);
    is->length = intrev32ifbe(intrev32ifbe(is->length)+1);
    return is;
}

別的不再解釋，我重點解釋一下我做標記的 @1，這個迴圈其實是這個方法的核心點，它完成了將舊元素擴充位元位這麼一個操作。

首先明確的一點是，升級操作只有兩種情況會觸發，一種是新插入一個較大的數值，另一種是新插入一個負很大的值，這兩種情況都會導致型別不夠儲存，需要擴大資料位。

_intsetGetEncoded 這個方法可以根據給定了 length，也就是元素在陣列中的下標取出舊陣列中對應的元素，很顯然，這裡是從後往前倒著來的。

因為我們的 intsetResize 方法已經完成了擴容記憶體的操作，也就是說新元素的記憶體已經分配完畢，那麼 _intsetSet 方法就會將 _intsetGetEncoded 取出的元素重新的向陣列中賦值。迴圈結束時，就是所有元素重新歸位的時候，最後再將新元素賦值進入陣列最後的位置。

但其實細心的同學會發現，_intsetSet 方法在傳下標索引的時候實際傳的是 length+prepend，這其實就是我們說，如果 value 是小於零的，length+prepend 最終會導致所有的舊元素往後挪了一個偏移量，然後新的元素會被賦值的索引為零的位置。也就是說，如果新插入的數值是負數，它會被頭插進陣列的第一個位置。

核心的幾個 API 我們都已經介紹了，其他的一些 API 你可以自行參閱原始碼，相信對你不難。

總結一下，整數集合(intset)使用了非常簡潔的資料結構，可以更少的佔用記憶體儲存一些整數，但終究是基於陣列的，也就避免不了不能儲存大量資料的缺點。總體來說，插入一個元素，最好情況 O(logN)，最壞的情況是 O(N)，攤還時間複雜度為 O(N)，查詢一個元素，根據索引下標時間複雜度在 O(1)。當 intset 中的元素超過 512 個，或者向其中添加了字串，redis 會將 intset 轉換成字典。

同樣的，如果覺得我寫的對你有點幫助的話，順手點一波關注吧，也歡迎加作者微信深入探討，我們下一講，壓縮列表，盡請關注。

---

關注公眾不迷路，一個愛分享的程式設計師。
公眾號回覆「1024」加作者微信一起探討學習！
每篇文章用到的所有案例程式碼素材都會上傳我個人 github
https://github.com/SingleYam/overview_java
歡迎來踩！

相關推薦