2. 程式人生 > >《Redis設計與實現》閱讀筆記8-客戶端

《Redis設計與實現》閱讀筆記8-客戶端

阿新 • • 發佈：2018-12-10

#12 客戶端

Redis伺服器是典型的一對多伺服器（一個伺服器與多個客服端建立連線），通過使用I/O多路複用技術實現檔案事件處理器，Redis使用單執行緒單程序的方式來處理命令請求，伺服器為客戶端建立redis.h/redisClient結構，這些結構儲存了客戶端當前的狀態資訊，及執行相關功能時需要用到的資料結構。

  • 客戶端的套接字描述符
  • 客戶端的名字
  • 客戶端的標誌值
  • 指向客戶端正在使用的資料庫的指標，以及該資料庫的號碼
  • 客戶端當前要執行的命令，命令的引數，命令引數的個數，以及指向命令實現函式的指標
  • 客戶端的輸入緩衝區和輸出緩衝區
  • 客戶端的複製狀態資訊，以及進行復制所需的資料結構
  • 客戶端執行BRPOP，BLPOP等列表阻塞命令時使用的資料結構
  • 客戶端的事務狀態，以及執行WATCH命令時用到的資料結構
  • 客戶端執行釋出與訂閱功能時用到的資料結構
  • 客戶端的身份驗證標準
  • 客戶端建立時間，與伺服器最後一次通訊時間，超出緩衝區大學的軟性限制時間

redisServer中有一個clients的連結串列結構，儲存所有與伺服器連線的客戶端的狀態

struct redisServer{
	//...

	//一個連結串列，儲存了所有客戶端的狀態
	list *clients;

	//...
}

##12.1 客戶端屬性

客戶端狀態包含的屬性可以分為兩類：

  • 一類是比較通用的屬性，這些屬性很少與特定功能相關，無論客戶端執行的是什麼工作，都需要用到這些屬性
  • 另外一類是和特定功能相關的屬性，比如操作資料庫時需要用到的db屬性和dictid屬性，執行事務用到的mstate屬性，以及執行WATCH命令時需要用到的watched_keys屬性等等。

####12.1.1 套接字描述符

typedef struct redisClient {

    // ...

    int fd;

    // ...

} redisClient;

客戶端狀態的fd屬性記錄了客戶端正在使用的套接字描述符，根據客戶端的不同，fd的屬性的值可以是-1或者大於-1的整數。

  • 偽客戶端的fd屬性的值為-1，偽客戶端處理的命令請求來源於AOF檔案或者Lua指令碼，而不是網路，所以這種客戶端不需要套接字連線，用到偽客戶端的地方為載入AOF檔案還原資料庫狀態或者執行Lua指令碼中包含的Redis命令。

  • 普通客戶端的fd屬性的值大於-1，普通客戶端需要使用套接字與伺服器進行網路通訊，合法的套接字描述符不能是-1， 所以正常客戶端使用的是大於-1的整數。

####12.1.2 名字 typedef struct redisClient {

// ...

robj *name;

// ...

} redisClient; 在預設情況下，客戶端是沒有名字的，使用CLIENT list命令可以返回客戶端鏈中所有客戶端的資訊，此時可以發現名字這個地方是空的。

而使用CLIENT setname命令可以給客戶端指定一個名字，讓客戶端的身份變的更具體。

####12.1.3 標誌

typedef struct redisClient {

    // ...

    int flags;

    // ...

} redisClient;

客戶端中的flags記錄客戶端的角色，及客戶端當前的狀態

flags可以是單個標誌： flags=<flag> 也可以是多個標誌的二進位制或: flags=<flag1>|<flag2>|...

每個標誌都使用一個常量表示，一部分標記記錄了客戶端的角色

  • 在主從伺服器中，主伺服器使用REDIS_MASTER標誌，從伺服器使用REDIS_SLAVE標誌
  • REDIS_PRE_PSYNC標誌代表客戶端是一個版本地獄Redis2.8的從伺服器，主伺服器不能使用PSYNC命令對這個從伺服器進行同步，這個標誌只在REDIS_SLAVE標誌開啟時使用
  • REDIS_LUA_CLIENT 標識表示客戶端是專門用於處理 Lua 腳本里麵包含的 Redis 命令的偽客戶端。

而另外一部分標誌則記錄了客戶端目前所處的狀態：

  • REDIS_MONITOR 標誌表示客戶端正在執行 MONITOR 命令。
  • REDIS_UNIX_SOCKET 標誌表示伺服器使用 UNIX 套接字來連線客戶端。
  • REDIS_BLOCKED 標誌表示客戶端正在被 BRPOP 、 BLPOP 等命令阻塞。
  • REDIS_UNBLOCKED 標誌表示客戶端已經從 REDIS_BLOCKED 標誌所表示的阻塞狀態中脫離出來， 不再阻塞。 REDIS_UNBLOCKED 標誌只能在 REDIS_BLOCKED 標誌已經開啟的情況下使用。
  • REDIS_MULTI 標誌表示客戶端正在執行事務。
  • REDIS_DIRTY_CAS 標誌表示事務使用 WATCH 命令監視的資料庫鍵已經被修改，REDIS_DIRTY_EXEC 標誌表示事務在命令入隊時出現了錯誤， 以上兩個標誌都表示事務的安全性已經被破壞， 只要這兩個標記中的任意一個被開啟， EXEC 命令必然會執行失敗。 這兩個標誌只能在客戶端打開了 REDIS_MULTI 標誌的情況下使用。
  • REDIS_CLOSE_ASAP 標誌表示客戶端的輸出緩衝區大小超出了伺服器允許的範圍， 伺服器會在下一次執行 serverCron 函式時關閉這個客戶端， 以免伺服器的穩定性受到這個客戶端影響。 積存在輸出緩衝區中的所有內容會直接被釋放， 不會返回給客戶端。
  • REDIS_CLOSE_AFTER_REPLY 標誌表示有使用者對這個客戶端執行了 CLIENT_KILL 命令， 或者客戶端傳送給伺服器的命令請求中包含了錯誤的協議內容。 伺服器會將客戶端積存在輸出緩衝區中的所有內容傳送給客戶端， 然後關閉客戶端。
  • REDIS_ASKING 標誌表示客戶端向叢集節點（執行在叢集模式下的伺服器）傳送了 ASKING 命令。
  • REDIS_FORCE_AOF 標誌強制伺服器將當前執行的命令寫入到 AOF 檔案裡面，REDIS_FORCE_REPL 標誌強制主伺服器將當前執行的命令複製給所有從伺服器。 執行 PUBSUB 命令會使客戶端開啟 REDIS_FORCE_AOF 標誌， 執行 SCRIPT_LOAD 命令會使客戶端開啟 REDIS_FORCE_AOF 標誌和 REDIS_FORCE_REPL 標誌。
  • 在主從伺服器進行命令傳播期間， 從伺服器需要向主伺服器傳送 REPLICATION ACK 命令， 在傳送這個命令之前， 從伺服器必須開啟主伺服器對應的客戶端的 REDIS_MASTER_FORCE_REPLY 標誌， 否則傳送操作會被拒絕執行。

PUBSUB命令與SCRIPT LOAD命令的特殊性

通常Redis只會把對資料庫進行了修改的命令寫入到AOF檔案，並複製到各個從伺服器，只讀的命令不會被寫入AOF檔案。這個特點適用於大多數Redis命令，但PUBSUB命令與SCRIPT LOAD命令具體特殊性.PUBSUB命令不會修改資料庫，但它向頻道的所有訂閱者傳送訊息的行為帶有副作用，接收到訊息的所有客戶端狀態會因為這個命令發生改變，所以伺服器會使用REDIS_FORCE_AOF標誌，將這個語句寫入AOF，並在載入AOF檔案時，會再次產生相同的PUBSUB命令，併產生一樣的副作用。SCRIPT LOAD命令的情況類似PUBSUB命令，它不會修改資料庫，但它修改了伺服器的狀態，所以這是一個帶有副作用的命令，會使伺服器使用REDIS_FORCE_AOF標誌，強制寫入AOF檔案，並在載入AOF檔案時，再次執行，再次產生副作用。 另外，為了讓主伺服器與從伺服器都能成功載入SCRIPT LOAD命令指定的指令碼，伺服器需要使用REDIS_FORCE_REPL 標誌將命令強制複製給所有從伺服器。

####12.1.4 輸入緩衝區

客戶端狀態的輸入緩衝區用於儲存客戶端傳送的命令請求

typedef struct redisClient {

    // ...

    sds querybuf;

    // ...

} redisClient;

輸入緩衝區的大小會根據輸入內容動態地縮小或者擴大， 但它的最大大小不能超過 1 GB ， 否則伺服器將關閉這個客戶端。

####12.1.5 命令與命令引數

在伺服器將客戶端傳送的命令請求儲存到客戶端狀態的 querybuf 屬性之後， 伺服器將對命令請求的內容進行分析， 並將得出的命令引數以及命令引數的個數分別儲存到客戶端狀態的 argv 屬性和 argc 屬性：

typedef struct redisClient {

    // ...

    robj **argv;

    int argc;

    // ...

} redisClient;

  • argv 屬性是一個數組， 陣列中的每個項都是一個字串物件： 其中 argv[0] 是要執行的命令， 而之後的其他項則是傳給命令的引數。

  • argc 屬性則負責記錄 argv 陣列的長度。方便取的後面的引數。

####12.1.6 命令實現函式

當伺服器從協議內容中分析並得出 argv 屬性和 argc 屬性的值之後， 伺服器將根據項 argv[0] 的值， 在命令表中查詢命令所對應的命令實現函式。

當程式在命令表中成功找到 argv[0] 所對應的 redisCommand 結構時， 它會將客戶端狀態的 cmd 指標指向這個結構：

typedef struct redisClient {

    // ...

	//指向指定結構的指標
    struct redisCommand *cmd;

    // ...

} redisClient;

####12.1.7 輸出緩衝區

執行命令所得的命令回覆會被儲存在客戶端狀態的輸出緩衝區裡面， 每個客戶端都有兩個輸出緩衝區可用， 一個緩衝區的大小是固定的， 另一個緩衝區的大小是可變的：

  • 固定大小的緩衝區用於儲存那些長度比較小的回覆， 比如 OK 、簡短的字串值、整數值、錯誤回覆，等等。
  • 可變大小的緩衝區用於儲存那些長度比較大的回覆， 比如一個非常長的字串值， 一個由很多項組成的列表， 一個包含了很多元素的集合， 等等。

客戶端的固定大小緩衝區由 buf 和 bufpos 兩個屬性組成：

typedef struct redisClient {

    // ...

    char buf[REDIS_REPLY_CHUNK_BYTES];

    int bufpos;

    // ...

} redisClient;

  • buf 是一個大小為 REDIS_REPLY_CHUNK_BYTES 位元組的位元組陣列， 而 bufpos 屬性則記錄了 buf 陣列目前已使用的位元組數量。

  • REDIS_REPLY_CHUNK_BYTES 常量目前的預設值為 16*1024 ， 也即是說， buf 陣列的預設大小為 16 KB 。

當 buf 陣列的空間已經用完， 或者回復因為太大而沒辦法放進 buf 數組裡面時， 伺服器就會開始使用可變大小緩衝區。 可變大小緩衝區由 reply 連結串列和一個或多個字串物件組成：

typedef struct redisClient {

    // ...

    list *reply;

    // ...

} redisClient;

通過使用連結串列來連線多個字串物件， 伺服器可以為客戶端儲存一個非常長的命令回覆， 而不必受到固定大小緩衝區 16 KB 大小的限制。

####12.1.8 身份驗證

客戶端狀態的 authenticated 屬性用於記錄客戶端是否通過了身份驗證

typedef struct redisClient {

    // ...

    int authenticated;

    // ...

} redisClient;

如果 authenticated 的值為 0 ， 那麼表示客戶端未通過身份驗證； 如果 authenticated 的值為 1 ， 那麼表示客戶端已經通過了身份驗證。當客戶端 authenticated 屬性的值為 0 時， 除了 AUTH 命令（身份驗證命令）之外， 客戶端傳送的所有其他命令都會被伺服器拒絕執行。當客戶端通過 AUTH 命令成功進行身份驗證之後， 客戶端狀態 authenticated 屬性的值就會從 0 變為 1 。

authenticated 屬性僅在伺服器啟用了身份驗證功能時使用： 如果伺服器沒有啟用身份驗證功能的話， 那麼即使 authenticated 屬性的值為 0 （這是預設值）， 伺服器也不會拒絕執行客戶端傳送的命令請求。

配置可以檢視配置檔案中的requirepass選項。

####12.1.9 時間 客戶端還有幾個和時間有關的屬性

typedef struct redisClient {

    // ...

    time_t ctime;

    time_t lastinteraction;

    time_t obuf_soft_limit_reached_time;

    // ...

} redisClient;
  • ctime 屬性記錄了建立客戶端的時間， 這個時間可以用來計算客戶端與伺服器已經連線了多少秒 —— CLIENT_LIST 命令的 age 域記錄了這個秒數
  • lastinteraction 屬性記錄了客戶端與伺服器最後一次進行互動（interaction）的時間， 這裡的互動可以是客戶端向伺服器傳送命令請求， 也可以是伺服器向客戶端傳送命令回覆。
  • lastinteraction 屬性可以用來計算客戶端的空轉（idle）時間， 也即是， 距離客戶端與伺服器最後一次進行互動以來， 已經過去了多少秒 —— CLIENT_LIST 命令的 idle 域記錄了這個秒數
  • obuf_soft_limit_reached_time 屬性記錄了輸出緩衝區第一次到達軟性限制（soft limit）的時間， 稍後介紹輸出緩衝區大小限制的時候會詳細說明這個屬性的作用。

12.2 客戶端的建立與關閉

伺服器會使用不同的方式來建立和關閉不同型別的客戶端

12.2.1 建立普通客戶端

如果客戶端是通過網路連線與伺服器連線的普通客戶端，伺服器會使用連線事件處理器為客戶端建立相應的客戶端狀態，並將新的客戶端狀態新增到伺服器資料結構的客戶端連結串列中。

12.2.2 關閉普通客戶端

一個普通客戶端被關閉有多種可能原因

  • 如果客戶端程序退出或者被殺死，那麼客戶端與伺服器的網路連線將被關閉，造成客戶端被關閉
  • 如果客服端向伺服器傳送了不符合協議格式的命令請求
  • 客戶端成為CLIENT KILL命令的目標
  • 如果使用者為伺服器設定了timeout配置選項，那麼空轉時間超過這個時間，客戶端會被關閉，例外：客戶端是主伺服器，從伺服器，被BLPOP等命令阻塞，或者正在執行SUBSCRIBE，PSUBSCRIBE等訂閱命令，空轉時間超過timeout也不會被關閉
  • 客戶端傳送的命令請求大小超過了輸入緩衝區的限制大小
  • 傳送給客戶端的命令回覆的大小超過了輸出緩衝區的限制大小，前面說的可變大小緩衝區用於接收命令回覆，由一個連結串列和任意多個字串物件組成，但避免給客戶端回覆過大，佔用過多的資源，會檢查輸出緩衝區的大小，並進行限制操作。
    • 硬性限制：如果超過硬性限制要求的大小，那麼伺服器立即關閉客戶端
    • 軟性限制：如果超過軟性限制的大小，沒超過硬性限制的大小。伺服器會使用客戶端狀態結構的obuf_soft_limit_reached_time屬性記錄下到達軟性限制的起始時間，之後會一直監視，如果處於超過軟性限制持續時間達到設定的時長，會關閉客戶端。若在指定時間內，達到軟性限制以下就不會關閉。

12.2.3 Lua指令碼的偽客戶端

伺服器會在初始化時建立負責執行Lua指令碼中包含Redis命令的偽客戶端，並將偽客戶端關聯在伺服器狀態結構的lua_client屬性中：

struct redisServer{
	//...
	redisClient *lua_client;
	//...
}

lua_client偽客戶端在伺服器執行的整個生命週期中一直存在，只有伺服器被關閉時，這個客戶端才會被關閉。

12.2.4 AOF檔案的偽客戶端

伺服器在載入AOF檔案時，會建立用於執行AOF檔案包含的Redis命令的偽客戶端，並在載入完成以後，關閉這個偽客戶端

相關推薦

《Redis設計與實現》閱讀筆記8-客戶端

#12 客戶端 Redis伺服器是典型的一對多伺服器（一個伺服器與多個客服端建立連線），通過使用I/O多路複用技術實現檔案事件處理器，Redis使用單執行緒單程序的方式來處理命令請求，伺服器為客戶端建立redis.h/redisClient結構，這些結構儲存了客

Redis設計與實現讀書筆記-AOF,RDB,復制

atomic 人工 only rpo script 發送 讀書筆記 競爭條件 產生 Redis Redis特性： 1.Redis是一個鍵值對數據庫服務器， 服務器中通常包含著任意個非空數據庫， 而每個非空數據庫中又可以包含任意個鍵值對，為了方便起見， 我們將服務器中的非空數

Redis設計與實現讀書筆記之第一部分: 資料結構與物件

(一) 簡單動態字串SDS Redis沒有直接使用C語言傳統的字串表示(以空字串結尾的字串)，而是構建了簡單動態字串SDS，其定義 struct sdshdr{ int len; //記錄buf陣列中已使用位元組的數量 int free; //記錄buf

（六）、Redis的AOF持久化---Redis設計與實現讀書筆記

redisServer關於AOF的資料結構 /** *Redis 伺服器類 */ struct redisServer{ ... //AOF快取區 sds aof_buf; ... } 當伺服器執行完一個寫命令後，會一協議格

Redis設計與實現學習筆記(一)

一. 引言 　　《Redis設計與實現》一書主要分為四個部分，其中第一個部分主要講的是Redis的底層資料結構與物件的相關知識。 　　Redis是一種基於C語言編寫的非關係型資料庫，它的五種基本物件型別分別為：STRING，LIST，SET，HASH，ZSET。然而，對於每一種基本物件資料型別，底層都至少

《Redis設計與實現》閱讀筆記6-AOF持久化

10 AOF（Append Only File） 10.1 AOF是什麼 以日誌的形式來記錄每個寫操作，將Redis執行過的所有寫指令記錄下來(讀操作不記錄)， 只許追加檔案但不可以改寫檔案，redis啟動之初會讀取該檔案重新構建資料，換言之

《Redis設計與實現》閱讀筆記10-複製

14 複製 在redis中使用slaveof命令，可以使得伺服器去複製另一個伺服器，成為那個伺服器的從伺服器，稱為主從複製 14.1 舊版複製功能 舊版複製的實現由兩種方式組成 同步：通過傳送主伺服器的rdb檔案給從伺服器與緩衝區儲存後續寫命令使得主從伺服器狀

《Redis設計與實現》閱讀筆記11-Sentinel（哨兵）

15 哨兵 哨兵系統由一個或多個哨兵例項組成，可以監視任意多個主伺服器及其對應的所有從伺服器，並在監視的主伺服器下線的時候從其對應的從伺服器中選出一個作為新的主伺服器，然後讓剩餘的從伺服器去複製新的主伺服器，並在舊的主伺服器上線以後讓其成為新的主伺服器的從伺服器

Redis設計與實現之連結串列--閱讀筆記

前言 連結串列提供了高效的節點重排能力，以及順序性的節點訪問方式，連結串列在 Redis 中的應用很廣泛，比如列表鍵的底層實現之一就是連結串列，除此之外，釋出與訂閱、慢查詢、監視器等功能也用到了連結串列，Redis 伺服器本身使用連結串列儲存多個客戶端的狀態資

《Redis設計與實現》閱讀筆記（四）--字典

hash 解決方法 針對 數據 發現 分配 aof 工作 方式 字典 字典，map，是用於保存鍵值對的抽象數據結構，是hash表實現。字典中的鍵唯一，通過鍵來操作值。Redis的數據庫使用字典來作為底層實現。 定義 Redis的字典使用哈希表作為底層實現，一個哈希表裏面由多

Redis 設計與實現（第十三章） -- 客戶端

腳本 ons listening last then red logs 可能 reply 概述 對於每個與服務器連接的客戶端，服務器都為它創建相應的redisClient的數據結構，並保持了相應的狀態。Redis Server通過一個鏈表來保存所有的客戶端連接。 本章包括：

Redis設計與實現筆記(二) | 連結串列結構

沒錯，本篇我們要說一說連結串列在Redis中的應用。本打算寫Redis中的列表，但想來想去覺得列表僅僅是Redis連結串列的一部分，並不能完全說明連結串列這一資料結構在Redis中的應用。那就說說資料結構連結串列吧。小夥伴們，開始啦！ 2.1 資料結構：連結串列 C語言中沒有內建這種資料結構

Redis設計與實現筆記(三) | 字典

字典(鍵值對、KV、對映都是一回事)在redis中有廣泛應用：redis是Key-Value資料庫，就是使用字典作為底層實現的，對資料庫的增刪改查都基於字典實現的。除此之外，redis的雜湊鍵底層使用字典實現，一個雜湊表中包含多個雜湊節點，每個雜湊節點就是一個kv結構，即字典。 由於redis的

Redis設計與實現筆記 4.字典

字典，又稱為符號表(symbol table)，關聯陣列(associative)或對映(map)，是一種用於儲存鍵值對的抽象資料結構。 在欄位中，一個鍵(key)可以和一個值(value)進行關聯(或者說將鍵對映為值)，這些關聯的鍵和值就稱為鍵值對。 字典中的每個鍵都是

Redis設計與實現筆記(三) | 字典

字典(鍵值對、KV、對映都是一回事)在redis中有廣泛應用：redis是Key-Value資料庫，就是使用字典作為底層實現的，對資料庫的增刪改查都基於字典實現的。除此之外，redis的雜湊鍵底層使用字典實現，一個雜湊表中包含多個雜湊節點，每個雜湊節點就是一個kv結構，即字典

Redis設計與實現筆記(九) | 持久化

redis是基於記憶體的資料庫。總所周知，記憶體是RAM，資料斷電即丟失。對於資料庫來說，這種特性導致了資料永續性就無法保證。redis的持久化的機制解決這種問題，就是把資料庫的資料儲存到硬碟中，進行儲存，避免資料丟失。 redis有兩種持久化的方式：RDB和 AOF 一

《Redis 設計與實現》第二版讀書筆記之整數集合

簡介 整數集合是集合鍵的底層實現之一，當一個集合只包含整數值元素，並且這個集合的元素數量不多時，Redis就會使用整數集合作為集合鍵的底層實現 實現 整數集合是Redis用於儲存整數值的集合抽象資料結構，它可以儲存型別為int16_t、int32_t、int64_t的整數值，並且

《Redis設計與實現》讀書筆記——釋出與訂閱、事務、排序、二進位制位陣列

1、釋出與訂閱    釋出與訂閱功能有PUBLISH、SUBSCRIBE、PSUBSCRIBE（正則訂閱，訂閱某個模式）等命令組成。例如SUBSCRIBE "news.it"、PUBLISH "news.it" "hello"、PSUBSCRIBE "news.[ie]t"等

《Redis設計與實現》[第二部分]單機資料庫的實現-C原始碼閱讀（三）

3、AOF持久化 關鍵字：AOF持久化：檔案寫入與同步，AOF檔案重寫，資料一致性 與RDB持久化通過儲存資料庫中的鍵值對來記錄資料庫狀態不同，AOF持久化是通過儲存redis伺服器所執行的寫命令來記錄資料庫狀態的 被寫入AOF檔案的所有命令都是以

《Redis設計與實現》讀書筆記

技術 pen image 選項 讀書 實現 服務器 bubuko ever 第11章：AOF持久化 AOF(Append Of File)持久化：通過保存Redis服務器所執行的寫命令來記錄數據庫狀態。 AOF持久化功能的實現分為：命令追加(append)、文件寫入、文件