1. 程式人生 > >Redis全方位講解--主從複製和哨兵模式

Redis全方位講解--主從複製和哨兵模式

前言

  前面介紹了redis持久化和容災備份,這篇會介紹redis主從複製和redis持久化在主從複製中的一些應用。因為本人沒有那麼多伺服器或機器,所以這裡主要介紹下如何在docker容器中搭建主從複製以及搭建過程中遇到的一些問題。關於redis的深入講解,這邊部落格《深入學習Redis(3):主從複製》介紹的非常詳細,有興趣的可以學習一下。

主從複製執行的機制

  • 當一個 master 例項和一個 slave 例項連線正常時, master 會發送一連串的命令流來保持對 slave 的更新,以便於將自身資料集的改變複製給 slave :包括客戶端的寫入、key 的過期或被逐出等等。
  • 當 master 和 slave 之間的連線斷開之後,因為網路問題、或者是主從意識到連線超時, slave 重新連線上 master 並會嘗試進行部分重同步:這意味著它會嘗試只獲取在斷開連線期間內丟失的命令流。
  • 當無法進行部分重同步時, slave 會請求進行全量重同步。這會涉及到一個更復雜的過程,例如 master 需要建立所有資料的快照,將之傳送給 slave ,之後在資料集更改時持續傳送命令流到 slave 。

關於全量重同步和部分重同步,在文章開頭介紹的那篇部落格中都有詳細的介紹。在搭建之前,讓我們先了解關於redis的幾個重要的事實。

  • Redis 使用非同步複製,slave 和 master 之間非同步地確認處理的資料量。也正是因為非同步複製,所以有可能會造成資料延遲或不同步。
  • 一個 master 可以擁有多個 slave,slave也可以有sub-slave,但從 Redis 4.0 起,所有的 sub-slave 將會從 master 收到完全一樣的複製流。
  • Redis 複製在 master 側是非阻塞的。這意味著 master 在一個或多個 slave 進行初次同步或者是部分重同步時,可以繼續處理查詢請求。
  • 複製在 slave 側大部分也是非阻塞的。當 slave 進行初次同步時,它可以使用舊資料集處理查詢請求,假設你在 redis.conf 中配置了讓 Redis 這樣做的話。否則,你可以配置如果複製流斷開, Redis slave 會返回一個 error 給客戶端。但是,在初次同步之後,舊資料集必須被刪除,同時載入新的資料集。 slave 在這個短暫的時間視窗內(如果資料集很大,會持續較長時間),會阻塞到來的連線請求。自 Redis 4.0 開始,可以配置 Redis 使刪除舊資料集的操作在另一個不同的執行緒中進行,但是,載入新資料集的操作依然需要在主執行緒中進行並且會阻塞 slave 。
  • 複製既可以被用在可伸縮性,以便只讀查詢可以有多個 slave 進行(例如 O(N) 複雜度的慢操作可以被下放到 slave ),或者僅用於資料安全。
  • 可以使用複製來避免 master 將全部資料集寫入磁碟造成的開銷:一種典型的技術是配置你的 master Redis.conf 以避免對磁碟進行持久化,然後連線一個 slave ,其配置為不定期儲存或是啟用 AOF。但是,這個設定必須小心處理,因為重新啟動的 master 程式將從一個空資料集開始:如果一個 slave 試圖與它同步,那麼這個 slave 也會被清空。

關於最後一點,一般主從複製一般會採用讀寫分離,master都用來接受所有的寫操作,這樣為了減少master的壓力,就不會開啟資料持久化,而是在slave中開啟資料持久化。

redis主從複製在docker中搭建

redis.conf檔案配置

  這裡需要注意的一點是,最好所有的主從redis要麼沒有設定密碼,要麼設定的密碼都一樣。

  兩個slave需要配置的是

################################# REPLICATION #################################

# Master-Slave replication. Use slaveof to make a Redis instance a copy of
# another Redis server. A few things to understand ASAP about Redis replication.
#
# 1) Redis replication is asynchronous, but you can configure a master to
#    stop accepting writes if it appears to be not connected with at least
#    a given number of slaves.
# 2) Redis slaves are able to perform a partial resynchronization with the
#    master if the replication link is lost for a relatively small amount of
#    time. You may want to configure the replication backlog size (see the next
#    sections of this file) with a sensible value depending on your needs.
# 3) Replication is automatic and does not need user intervention. After a
#    network partition slaves automatically try to reconnect to masters
#    and resynchronize with them.
#
slaveof redis 6379   # redis是master的容器名

# If the master is password protected (using the "requirepass" configuration
# directive below) it is possible to tell the slave to authenticate before
# starting the replication synchronization process, otherwise the master will
# refuse the slave request.
#
masterauth 123455

slave-read-only yes  # slave只讀

三個配置檔案配置好後,就可以配置docker-composer.yml檔案了

version: "3.7"

networks:
  backend:
    driver: bridge

services:

### Redis ################################################
  # master
  redis:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/master:/data
      - ./redis/config/redis-master.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6379:6379
    networks:
      - backend

  # slave 1
  redis-slave1:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave1:/data
      - ./redis/config/redis-slave1.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6380:6379
    networks:
      - backend
    depends_on:
      - redis

  # slave 2
  redis-slave2:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave2:/data
      - ./redis/config/redis-slave2.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6381:6379
    networks:
      - backend
    depends_on:
      - redis
      - redis-slave1

然後就可以啟動redis容器了

docker-composer up -d redis-slave2

  這時候3個redis就已經啟動起來了

這是我們進入master容器。在redis-cli命令下執行 info replication ,就可以看到如下資訊。 

從上面資訊可以看到,這個是master角色,有兩個從slave,並且可以看到slave的狀態和同步的offset。然後再進入slave容器,可以看到。 

可以看到它的角色是slave和一些master的資訊。因為我們設定了slave是隻讀模式。所以當我們想在slave下進行寫入操作時會報錯。

 

所以只能去master裡進行寫操作。

這時我們可以去slave看下slave是否複製成功。

這就表明我們這次redis的主從複製在docker中搭建成功了。

notice:這裡還要重申一遍的是,1、如果你的redis設定了密碼,那麼所有的都設定成一樣。2、如果你的rendis設定了密碼,那麼master配置檔案中的masterauth 這一項一定要配置。不然在後面搭建redis哨兵模式的時候,肯定會有一些你意想不到我的問題。