Redis全方位講解--主從複製和哨兵模式
前言
前面介紹了redis持久化和容災備份,這篇會介紹redis主從複製和redis持久化在主從複製中的一些應用。因為本人沒有那麼多伺服器或機器,所以這裡主要介紹下如何在docker容器中搭建主從複製以及搭建過程中遇到的一些問題。關於redis的深入講解,這邊部落格《深入學習Redis(3):主從複製》介紹的非常詳細,有興趣的可以學習一下。
主從複製執行的機制
- 當一個 master 例項和一個 slave 例項連線正常時, master 會發送一連串的命令流來保持對 slave 的更新,以便於將自身資料集的改變複製給 slave :包括客戶端的寫入、key 的過期或被逐出等等。
- 當 master 和 slave 之間的連線斷開之後,因為網路問題、或者是主從意識到連線超時, slave 重新連線上 master 並會嘗試進行部分重同步:這意味著它會嘗試只獲取在斷開連線期間內丟失的命令流。
- 當無法進行部分重同步時, slave 會請求進行全量重同步。這會涉及到一個更復雜的過程,例如 master 需要建立所有資料的快照,將之傳送給 slave ,之後在資料集更改時持續傳送命令流到 slave 。
關於全量重同步和部分重同步,在文章開頭介紹的那篇部落格中都有詳細的介紹。在搭建之前,讓我們先了解關於redis的幾個重要的事實。
- Redis 使用非同步複製,slave 和 master 之間非同步地確認處理的資料量。也正是因為非同步複製,所以有可能會造成資料延遲或不同步。
- 一個 master 可以擁有多個 slave,slave也可以有sub-slave,但從 Redis 4.0 起,所有的 sub-slave 將會從 master 收到完全一樣的複製流。
- Redis 複製在 master 側是非阻塞的。這意味著 master 在一個或多個 slave 進行初次同步或者是部分重同步時,可以繼續處理查詢請求。
- 複製在 slave 側大部分也是非阻塞的。當 slave 進行初次同步時,它可以使用舊資料集處理查詢請求,假設你在 redis.conf 中配置了讓 Redis 這樣做的話。否則,你可以配置如果複製流斷開, Redis slave 會返回一個 error 給客戶端。但是,在初次同步之後,舊資料集必須被刪除,同時載入新的資料集。 slave 在這個短暫的時間視窗內(如果資料集很大,會持續較長時間),會阻塞到來的連線請求。自 Redis 4.0 開始,可以配置 Redis 使刪除舊資料集的操作在另一個不同的執行緒中進行,但是,載入新資料集的操作依然需要在主執行緒中進行並且會阻塞 slave 。
- 複製既可以被用在可伸縮性,以便只讀查詢可以有多個 slave 進行(例如 O(N) 複雜度的慢操作可以被下放到 slave ),或者僅用於資料安全。
- 可以使用複製來避免 master 將全部資料集寫入磁碟造成的開銷:一種典型的技術是配置你的 master Redis.conf 以避免對磁碟進行持久化,然後連線一個 slave ,其配置為不定期儲存或是啟用 AOF。但是,這個設定必須小心處理,因為重新啟動的 master 程式將從一個空資料集開始:如果一個 slave 試圖與它同步,那麼這個 slave 也會被清空。
關於最後一點,一般主從複製一般會採用讀寫分離,master都用來接受所有的寫操作,這樣為了減少master的壓力,就不會開啟資料持久化,而是在slave中開啟資料持久化。
redis主從複製在docker中搭建
redis.conf檔案配置
這裡需要注意的一點是,最好所有的主從redis要麼沒有設定密碼,要麼設定的密碼都一樣。
兩個slave需要配置的是
################################# REPLICATION ################################# # Master-Slave replication. Use slaveof to make a Redis instance a copy of # another Redis server. A few things to understand ASAP about Redis replication. # # 1) Redis replication is asynchronous, but you can configure a master to # stop accepting writes if it appears to be not connected with at least # a given number of slaves. # 2) Redis slaves are able to perform a partial resynchronization with the # master if the replication link is lost for a relatively small amount of # time. You may want to configure the replication backlog size (see the next # sections of this file) with a sensible value depending on your needs. # 3) Replication is automatic and does not need user intervention. After a # network partition slaves automatically try to reconnect to masters # and resynchronize with them. # slaveof redis 6379 # redis是master的容器名 # If the master is password protected (using the "requirepass" configuration # directive below) it is possible to tell the slave to authenticate before # starting the replication synchronization process, otherwise the master will # refuse the slave request. # masterauth 123455 slave-read-only yes # slave只讀
三個配置檔案配置好後,就可以配置docker-composer.yml檔案了
version: "3.7" networks: backend: driver: bridge services: ### Redis ################################################ # master redis: image: johnson19900110/redis:latest restart: always volumes: - ${DATA_PATH_HOST}/redis/master:/data - ./redis/config/redis-master.conf:/usr/local/etc/redis/redis.conf ports: - 6379:6379 networks: - backend # slave 1 redis-slave1: image: johnson19900110/redis:latest restart: always volumes: - ${DATA_PATH_HOST}/redis/slave1:/data - ./redis/config/redis-slave1.conf:/usr/local/etc/redis/redis.conf ports: - 6380:6379 networks: - backend depends_on: - redis # slave 2 redis-slave2: image: johnson19900110/redis:latest restart: always volumes: - ${DATA_PATH_HOST}/redis/slave2:/data - ./redis/config/redis-slave2.conf:/usr/local/etc/redis/redis.conf ports: - 6381:6379 networks: - backend depends_on: - redis - redis-slave1
然後就可以啟動redis容器了
docker-composer up -d redis-slave2
這時候3個redis就已經啟動起來了
這是我們進入master容器。在redis-cli命令下執行 info replication ,就可以看到如下資訊。
從上面資訊可以看到,這個是master角色,有兩個從slave,並且可以看到slave的狀態和同步的offset。然後再進入slave容器,可以看到。
可以看到它的角色是slave和一些master的資訊。因為我們設定了slave是隻讀模式。所以當我們想在slave下進行寫入操作時會報錯。
所以只能去master裡進行寫操作。
這時我們可以去slave看下slave是否複製成功。
這就表明我們這次redis的主從複製在docker中搭建成功了。
notice:這裡還要重申一遍的是,1、如果你的redis設定了密碼,那麼所有的都設定成一樣。2、如果你的rendis設定了密碼,那麼master配置檔案中的masterauth 這一項一定要配置。不然在後面搭建redis哨兵模式的時候,肯定會有一些你意想不到我的問題。