1. 程式人生 > >Redis學習筆記--Redis資料過期策略詳解

Redis學習筆記--Redis資料過期策略詳解

本文對Redis的過期機制簡單的講解一下   講解之前我們先丟擲一個問題,我們知道很多時候伺服器經常會用到redis作為快取,有很多資料都是臨時快取一下,可能用過之後很久都不會再用到了(比如暫存session,又或者只存放日行情股票資料)那麼就會出現一下幾個問題了

  1. Redis會自己回收清理不用的資料嗎?
  2. 如果能,那如何配置?
  3. 如果不能,如何防止資料累加後大量佔用儲存空間的問題?

  之前一直接觸Redis不是很深入,最近專案當中遇到一個需求場景,需要清空一些存放在Redis的資料,主要是通過一些時間進行過濾,刪除那些不滿足的資料,但是這樣的工作每天都需要進行,那工作量就比較大了,而且每天都需要按時去手動清理,這樣做也不切實際,後面發現Redis中有個設定時間過期的功能,即對儲存在Redis資料庫中的值可以設定一個過期時間。作為一個快取資料庫,這是非常實用的。這就是我們本文要講到的Redis過期機制。其實這個機制運用的場景十分廣泛,比如我們一般專案中的token或者一些登入資訊,尤其是簡訊驗證碼都是有時間限制的,或者是限制請求次數,如果按照傳統的資料庫處理方式,一般都是自己判斷過期,這樣無疑會嚴重影響專案效能。

一、設定過期時間

  Redis對儲存值的過期處理實際上是針對該值的鍵(key)處理的,即時間的設定也是設定key的有效時間。Expires字典儲存了所有鍵的過期時間,Expires也被稱為過期欄位。

  • expire key time(以秒為單位)--這是最常用的方式
  • setex(String key, int seconds, String value)--字串獨有的方式

注:   1、除了字串自己獨有設定過期時間的方法外,其他方法都需要依靠expire方法來設定時間   2、如果沒有設定時間,那快取就是永不過期   3、如果設定了過期時間,之後又想讓快取永不過期,使用persist key

1、常用方式

一般主要包括4種處理過期方,其中expire都是以秒為單位,pexpire都是以毫秒為單位的。

1 EXPIRE key seconds  //將key的生存時間設定為ttl秒
2 PEXPIRE key milliseconds  //將key的生成時間設定為ttl毫秒
3 EXPIREAT key timestamp  //將key的過期時間設定為timestamp所代表的的秒數的時間戳
4 PEXPIREAT key milliseconds-timestamp  //將key的過期時間設定為timestamp所代表的的毫秒數的時間戳

備註:timestamp為unix時間戳(例如:timestamp=1499788800 表示將在2017.07.12過期) 1、2兩種方式是設定一個過期的時間段,就是咱們處理驗證碼最常用的策略,設定三分鐘或五分鐘後失效,把分鐘數轉換成秒或毫秒儲存到Redis中。  3、4兩種方式是指定一個過期的時間 ,比如優惠券的過期時間是某年某月某日,只是單位不一樣。

下面我們就以EXPIREAT為例子簡單講解下用法。

返回值

一個整數值1或0,如下:

  • 如果成功地為該鍵設定了超時時間,返回 1
  • 如果鍵不存在或無法設定超時時間,返回 0

語法 以下是以Redis的EXPIREAT命令的基本語法。

1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP

示例

首先,在Redis中建立一個鍵:akey,並在akey中設定一些值。

1 redis 127.0.0.1:6379> SET akey redis 
2 OK

現在,為設定建立的鍵設定超時時間為60 秒。

複製程式碼

 1 127.0.0.1:6379> SET akey redis
 2 OK
 3 127.0.0.1:6379> EXPIREAT akey 1393840000
 4 (integer) 1
 5 127.0.0.1:6379> EXISTS akey
 6 (integer) 0
 7 127.0.0.1:6379> SET akey redis
 8 OK
 9 127.0.0.1:6379> EXPIREAT akey 1493840000
10 (integer) 1
11 127.0.0.1:6379> EXISTS akey
12 (integer) 1

複製程式碼

其他三個用法類似,這裡不逐一闡述

2、字串獨有方式

對字串特殊處理的方式為SETEX命令,SETEX命令為指定的 key 設定值及其過期時間。如果 key 已經存在, SETEX 命令將會替換舊的值。

返回值

設定成功時返回 OK 。

語法

Redis Setex 命令基本語法如下:

redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

示例

1 redis 127.0.0.1:6379> SETEX mykey 60 redis
2 OK
3 redis 127.0.0.1:6379> TTL mykey
4 60
5 redis 127.0.0.1:6379> GET mykey
6 "redis

二、3種過期策略

  • 定時刪除
    • 含義:在設定key的過期時間的同時,為該key建立一個定時器,讓定時器在key的過期時間來臨時,對key進行刪除
    • 優點:保證記憶體被儘快釋放
    • 缺點:
      • 若過期key很多,刪除這些key會佔用很多的CPU時間,在CPU時間緊張的情況下,CPU不能把所有的時間用來做要緊的事兒,還需要去花時間刪除這些key
      • 定時器的建立耗時,若為每一個設定過期時間的key建立一個定時器(將會有大量的定時器產生),效能影響嚴重
      • 沒人用
  • 惰性刪除
    • 含義:key過期的時候不刪除,每次從資料庫獲取key的時候去檢查是否過期,若過期,則刪除,返回null。
    • 優點:刪除操作只發生在從資料庫取出key的時候發生,而且只刪除當前key,所以對CPU時間的佔用是比較少的,而且此時的刪除是已經到了非做不可的地步(如果此時還不刪除的話,我們就會獲取到了已經過期的key了)
    • 缺點:若大量的key在超出超時時間後,很久一段時間內,都沒有被獲取過,那麼可能發生記憶體洩露(無用的垃圾佔用了大量的記憶體)
  • 定期刪除
    • 含義:每隔一段時間執行一次刪除(在redis.conf配置檔案設定hz,1s重新整理的頻率)過期key操作
    • 優點:
      • 通過限制刪除操作的時長和頻率,來減少刪除操作對CPU時間的佔用--處理"定時刪除"的缺點
      • 定期刪除過期key--處理"惰性刪除"的缺點
    • 缺點
      • 在記憶體友好方面,不如"定時刪除"
      • 在CPU時間友好方面,不如"惰性刪除"
    • 難點
      • 合理設定刪除操作的執行時長(每次刪除執行多長時間)和執行頻率(每隔多長時間做一次刪除)(這個要根據伺服器執行情況來定了)

看完上面三種策略後可以得出以下結論:  定時刪除和定期刪除為主動刪除:Redis會定期主動淘汰一批已過去的key

惰性刪除為被動刪除:用到的時候才會去檢驗key是不是已過期,過期就刪除

惰性刪除為redis伺服器內建策略

定期刪除可以通過:

  • 第一、配置redis.conf 的hz選項,預設為10 (即1秒執行10次,100ms一次,值越大說明重新整理頻率越快,最Redis效能損耗也越大) 
  • 第二、配置redis.conf的maxmemory最大值,當已用記憶體超過maxmemory限定時,就會觸發主動清理策略

 注意:

  • 上邊所說的資料庫指的是記憶體資料庫,預設情況下每一臺redis伺服器有16個數據庫(關於資料庫的設定,看下邊程式碼),預設使用0號資料庫,所有的操作都是對0號資料庫的操作,關於redis資料庫的儲存結構,檢視 第八章 Redis資料庫結構與讀寫原理
# 設定資料庫數量。預設為16個庫,預設使用DB 0,可以使用"select 1"來選擇一號資料庫
# 注意:由於預設使用0號資料庫,那麼我們所做的所有的快取操作都存在0號資料庫上,
# 當你在1號資料庫上去查詢的時候,就查不到之前set過得快取
# 若想將0號資料庫上的快取移動到1號資料庫,可以使用"move key 1"
databases 16
  • memcached只是用了惰性刪除,而Redis同時使用了惰性刪除與定期刪除,這也是二者的一個不同點(可以看做是redis優於memcached的一點)
  • 對於惰性刪除而言,並不是只有獲取key的時候才會檢查key是否過期,在某些設定key的方法上也會檢查(eg.setnx key2 value2:該方法類似於memcached的add方法,如果設定的key2已經存在,那麼該方法返回false,什麼都不做;如果設定的key2不存在,那麼該方法設定快取key2-value2。假設呼叫此方法的時候,發現redis中已經存在了key2,但是該key2已經過期了,如果此時不執行刪除操作的話,setnx方法將會直接返回false,也就是說此時並沒有重新設定key2-value2成功,所以對於一定要在setnx執行之前,對key2進行過期檢查)

三、Redis採用的過期策略

惰性刪除+定期刪除

  • 惰性刪除流程
    • 在進行get或setnx等操作時,先檢查key是否過期,
    • 若過期,刪除key,然後執行相應操作;
    • 若沒過期,直接執行相應操作
  • 定期刪除流程(簡單而言,對指定個數個庫的每一個庫隨機刪除小於等於指定個數個過期key)
    • 遍歷每個資料庫(就是redis.conf中配置的"database"數量,預設為16)
      • 檢查當前庫中的指定個數個key(預設是每個庫檢查20個key,注意相當於該迴圈執行20次,迴圈體時下邊的描述)
        • 如果當前庫中沒有一個key設定了過期時間,直接執行下一個庫的遍歷
        • 隨機獲取一個設定了過期時間的key,檢查該key是否過期,如果過期,刪除key
        • 判斷定期刪除操作是否已經達到指定時長,若已經達到,直接退出定期刪除。

四、RDB對過期key的處理

過期key對RDB沒有任何影響

  • 從記憶體資料庫持久化資料到RDB檔案
    • 持久化key之前,會檢查是否過期,過期的key不進入RDB檔案
  • 從RDB檔案恢復資料到記憶體資料庫
    • 資料載入資料庫之前,會對key先進行過期檢查,如果過期,不匯入資料庫(主庫情況)

五、AOF對過期key的處理

過期key對AOF沒有任何影響

  • 從記憶體資料庫持久化資料到AOF檔案:
    • 當key過期後,還沒有被刪除,此時進行執行持久化操作(該key是不會進入aof檔案的,因為沒有發生修改命令)
    • 當key過期後,在發生刪除操作時,程式會向aof檔案追加一條del命令(在將來的以aof檔案恢復資料的時候該過期的鍵就會被刪掉)
  • AOF重寫
    • 重寫時,會先判斷key是否過期,已過期的key不會重寫到aof檔案