大家好，我是IT修真院深圳分院第十二期學員，一枚正直純潔善良的JAVA程式設計師。

今天給大家分享一下，修真院官網JAVA任務六的一個知識點：Memcache和Redis的區別是什麼？

課題：Memcache和Redis的區別是什麼？

1.背景介紹

         Redis 和 Memcache 都是基於記憶體的資料儲存系統。Memcached是高效能分散式記憶體快取服務；Redis是一個開源的key-value儲存系統。與Memcached類似，Redis將大部分資料儲存在記憶體中，支援的資料型別包括：字串、雜湊 表、連結串列、等資料型別的相關操作。

2.知識剖析

（1）資料型別支援不同

（2）記憶體管理機制不同

（3）資料持久化支援

（4）叢集管理的不同

（1）資料型別支援不同

與Memcached僅支援簡單的key-value結構的資料記錄不同，Redis支援的資料型別要豐富得多。最為常用的資料型別主要由五種：String、Hash、List、Set和Sorted Set。Redis內部使用一個redisObject物件來表示所有的key和value。redisObject最主要的資訊如圖所示：

type代表一個value物件具體是何種資料型別，encoding是不同資料型別在redis內部的儲存方式，

比如：type=string代表value儲存的是一個普通字串，那麼對應的encoding可以是raw或者是int，如果是int則代表實際redis內部是按數值型類儲存和表示這個字串的，當然前提是這個字串本身可以用數值表示，比如:”123″ “456”這樣的字串。只有打開了Redis的虛擬記憶體功能，vm欄位欄位才會真正的分配記憶體，該功能預設是關閉狀態的。

(2)記憶體管理機制不同

redis :

在Redis中，並不是所有的資料都一直儲存在記憶體中的。這是和Memcached相比一個最大的區別。當實體記憶體用完時，Redis可以將一些很久沒用到的value交換到磁碟。Redis只會快取所有的key的資訊，如果Redis發現記憶體的使用量超過了某一個閥值，將觸發swap的操作，Redis根據“swappability = age*log(size_in_memory)”計算出哪些key對應的value需要swap到磁碟。然後再將這些key對應的value持久化到磁碟中，同時在記憶體中清除。這種特性使得Redis可以保持超過其機器本身記憶體大小的資料。

當然，機器本身的記憶體必須要能夠保持所有的key，畢竟這些資料是不會進行swap操作的。同時由於Redis將記憶體中的資料swap到磁碟中的時候，提供服務的主執行緒和進行swap操作的子執行緒會共享這部分記憶體，所以如果更新需要swap的資料，Redis將阻塞這個操作，直到子執行緒完成swap操作後才可以進行修改。當從Redis中讀取資料的時候，如果讀取的key對應的value不在記憶體中，那麼Redis就需要從swap檔案中載入相應資料，然後再返回給請求方。

這裡就存在一個I/O執行緒池的問題。在預設的情況下，Redis會出現阻塞，即完成所有的swap檔案載入後才會相應。這種策略在客戶端的數量較小，進行批量操作的時候比較合適。但是如果將Redis應用在一個大型的網站應用程式中，這顯然是無法滿足大併發的情況的。所以Redis執行我們設定I/O執行緒池的大小，對需要從swap檔案中載入相應資料的讀取請求進行併發操作，減少阻塞的時間。

Redis的記憶體管理主要通過原始碼中zmalloc.h和zmalloc.c兩個檔案來實現的。Redis為了方便記憶體的管理，在分配一塊記憶體之後，會將這塊記憶體的大小存入記憶體塊的頭部。如圖所示，real_ptr是redis呼叫malloc後返回的指標。redis將記憶體塊的大小size存入頭部，size所佔據的記憶體大小是已知的，為size_t型別的長度，然後返回ret_ptr。當需要釋放記憶體的時候，ret_ptr被傳給記憶體管理程式。通過ret_ptr，程式可以很容易的算出real_ptr的值，然後將real_ptr傳給free釋放記憶體。

Redis通過定義一個數組來記錄所有的記憶體分配情況，這個陣列的長度為ZMALLOC_MAX_ALLOC_STAT。陣列的每一個元素代表當前程式所分配的記憶體塊的個數，且記憶體塊的大小為該元素的下標。在原始碼中，這個陣列為zmalloc_allocations。zmalloc_allocations[16]代表已經分配的長度為16bytes的記憶體塊的個數。zmalloc.c中有一個靜態變數used_memory用來記錄當前分配的記憶體總大小。

在講memcached之前需要補充一點知識點：

傳統C語言中 malloc/free函式是最常用的分配和釋放記憶體的方法，但是這種方法存在著很大的缺陷：

不匹配的malloc和free容易造成記憶體洩露；

其次頻繁呼叫會造成大量記憶體碎片無法回收重新利用，降低記憶體利用率；

最後作為系統呼叫，其系統開銷遠遠大於一般函式呼叫。

所以，為了提高記憶體的管理效率，高效的記憶體管理方案都不會直接使用malloc/free呼叫。Redis和Memcached均使用了自身設計的記憶體管理機制，但是實現方法存在很大的差異。

memcached：

Memcached預設使用Slab Allocation機制管理記憶體，其主要思想是按照預先規定的大小，將分配的記憶體分割成特定長度的塊以儲存相應長度的key-value資料記錄，以完全解決記憶體碎片問題。Slab Allocation機制只為儲存外部資料而設計，也就是說所有的key-value資料都儲存在Slab Allocation系統裡，而Memcached的其它記憶體請求則通過普通的malloc/free來申請，因為這些請求的數量和頻率決定了它們不會對整個系統的效能造成影響Slab Allocation的原理相當簡單。

如圖所示，它首先從作業系統申請一大塊記憶體，並將其分割成各種尺寸的塊Chunk，並把尺寸相同的塊分成組Slab Class。其中，Chunk就是用來儲存key-value資料的最小單位。每個Slab Class的大小，可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25，如果第一組Chunk的大小為88個位元組，第二組Chunk的大小就為112個位元組，依此類推。

當Memcached接收到客戶端傳送過來的資料時首先會根據收到資料的大小選擇一個最合適的Slab Class，然後通過查詢Memcached儲存著的該Slab Class內空閒Chunk的列表就可以找到一個可用於儲存資料的Chunk。當一條資料庫過期或者丟棄時，該記錄所佔用的Chunk就可以回收，重新新增到空閒列表中。從以上過程我們可以看出Memcached的記憶體管理制效率高，而且不會造成記憶體碎片，但是它最大的缺點就是會導致空間浪費。因為每個Chunk都分配了特定長度的記憶體空間，所以變長資料無法充分利用這些空間。如圖 所示，將100個位元組的資料快取到128個位元組的Chunk中，剩餘的28個位元組就浪費掉了。

所以，總的來看，Redis採用的是包裝的mallc/free，相較於Memcached的記憶體管理方法來說，要簡單很多。

3.常見問題

3.1.redis 幾種型別常用命令、應用場景及實現方式。

4.解決方案

4.1.redis 幾種型別常用命令、應用場景及實現方式。

1）String

• 常用命令：set/get/decr/incr/mget等；
• 應用場景：String是最常用的一種資料型別，普通的key/value儲存都可以歸為此類；
• 實現方式：String在redis內部儲存預設就是一個字串，被redisObject所引用，當遇到incr、decr等操作時會轉成數值型進行計算，此時redisObject的encoding欄位為int。
•  

2）Hash

• 常用命令：hget/hset/hgetall等
• 應用場景：我們要儲存一個使用者資訊物件資料，其中包括使用者ID、使用者姓名、年齡和生日，通過使用者ID我們希望獲取該使用者的姓名或者年齡或者生日；
• 實現方式：Redis的Hash實際是內部儲存的Value為一個HashMap，並提供了直接存取這個Map成員的介面。如圖所示，Key是使用者ID, value是一個Map。這個Map的key是成員的屬性名，value是屬性值。這樣對資料的修改和存取都可以直接通過其內部Map的Key(Redis裡稱內部Map的key為field), 也就是通過 key(使用者ID) + field(屬性標籤) 就可以操作對應屬性資料。當前HashMap的實現有兩種方式：當HashMap的成員比較少時Redis為了節省記憶體會採用類似一維陣列的方式來緊湊儲存，而不會採用真正的HashMap結構，這時對應的value的redisObject的encoding為zipmap，當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。
• 

3）List

• 常用命令：lpush/rpush/lpop/rpop/lrange等；
• 應用場景：Redis list的應用場景非常多，也是Redis最重要的資料結構之一，比如twitter的關注列表，粉絲列表等都可以用Redis的list結構來實現；
• 實現方式：Redis list的實現為一個雙向連結串列，即可以支援反向查詢和遍歷，更方便操作，不過帶來了部分額外的記憶體開銷，Redis內部的很多實現，包括髮送緩衝佇列等也都是用的這個資料結構。

4）Set

• 常用命令：sadd/spop/smembers/sunion等；
• 應用場景：Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在於set是可以自動排重的，當你需要儲存一個列表資料，又不希望出現重複資料時，set是一個很好的選擇，並且set提供了判斷某個成員是否在一個set集合內的重要介面，這個也是list所不能提供的；
• 實現方式：set 的內部實現是一個 value永遠為null的HashMap，實際就是通過計算hash的方式來快速排重的，這也是set能提供判斷一個成員是否在集合內的原因。

5）Sorted Set

• 常用命令：zadd/zrange/zrem/zcard等；
• 應用場景：Redis sorted set的使用場景與set類似，區別是set不是自動有序的，而sorted set可以通過使用者額外提供一個優先順序(score)的引數來為成員排序，並且是插入有序的，即自動排序。當你需要一個有序的並且不重複的集合列表，那麼可以選擇sorted set資料結構，比如twitter 的public timeline可以以發表時間作為score來儲存，這樣獲取時就是自動按時間排好序的。
• 實現方式：Redis sorted set的內部使用HashMap和跳躍表(SkipList)來保證資料的儲存和有序，HashMap裡放的是成員到score的對映，而跳躍表裡存放的是所有的成員，排序依據是HashMap裡存的score,使用跳躍表的結構可以獲得比較高的查詢效率，並且在實現上比較簡單。

5.編碼實戰

6.擴充套件思考

7.參考文獻      

https://www.biaodianfu.com/redis-vs-memcached.html#comments

8.更多討論

8.1.資料持久化支援

Redis雖然是基於記憶體的儲存系統，但是它本身是支援記憶體資料的持久化的，而且提供兩種主要的持久化策略：RDB快照和AOF日誌。而memcached是不支援資料持久化操作的。

1）RDB快照

Redis支援將當前資料的快照存成一個數據檔案的持久化機制，即RDB快照。但是一個持續寫入的資料庫如何生成快照呢？Redis藉助了fork命令的copy on write機制。在生成快照時，將當前程序fork出一個子程序，然後在子程序中迴圈所有的資料，將資料寫成為RDB檔案。我們可以通過Redis的save指令來配置RDB快照生成的時機，比如配置10分鐘就生成快照，也可以配置有1000次寫入就生成快照，也可以多個規則一起實施。這些規則的定義就在Redis的配置檔案中，你也可以通過Redis的CONFIG SET命令在Redis執行時設定規則，不需要重啟Redis。

Redis的RDB檔案不會壞掉，因為其寫操作是在一個新程序中進行的，當生成一個新的RDB檔案時，Redis生成的子程序會先將資料寫到一個臨時檔案中，然後通過原子性rename系統呼叫將臨時檔案重新命名為RDB檔案，這樣在任何時候出現故障，Redis的RDB檔案都總是可用的。同時，Redis的RDB檔案也是Redis主從同步內部實現中的一環。RDB有他的不足，就是一旦資料庫出現問題，那麼我們的RDB檔案中儲存的資料並不是全新的，從上次RDB檔案生成到Redis停機這段時間的資料全部丟掉了。在某些業務下，這是可以忍受的。

2）AOF日誌

AOF日誌的全稱是append only file，它是一個追加寫入的日誌檔案。與一般資料庫的binlog不同的是，AOF檔案是可識別的純文字，它的內容就是一個個的Redis標準命令。只有那些會導致資料發生修改的命令才會追加到AOF檔案。每一條修改資料的命令都生成一條日誌，AOF檔案會越來越大，所以Redis又提供了一個功能，叫做AOF rewrite。其功能就是重新生成一份AOF檔案，新的AOF檔案中一條記錄的操作只會有一次，而不像一份老檔案那樣，可能記錄了對同一個值的多次操作。其生成過程和RDB類似，也是fork一個程序，直接遍歷資料，寫入新的AOF臨時檔案。在寫入新檔案的過程中，所有的寫操作日誌還是會寫到原來老的AOF檔案中，同時還會記錄在記憶體緩衝區中。當重完操作完成後，會將所有緩衝區中的日誌一次性寫入到臨時檔案中。然後呼叫原子性的rename命令用新的AOF檔案取代老的AOF檔案。

AOF是一個寫檔案操作，其目的是將操作日誌寫到磁碟上，所以它也同樣會遇到我們上面說的寫操作的流程。在Redis中對AOF呼叫write寫入後，通過appendfsync選項來控制呼叫fsync將其寫到磁碟上的時間，下面appendfsync的三個設定項，安全強度逐漸變強。

• appendfsync no 當設定appendfsync為no的時候，Redis不會主動呼叫fsync去將AOF日誌內容同步到磁碟，所以這一切就完全依賴於作業系統的除錯了。對大多數Linux作業系統，是每30秒進行一次fsync，將緩衝區中的資料寫到磁碟上。
• appendfsync everysec 當設定appendfsync為everysec的時候，Redis會預設每隔一秒進行一次fsync呼叫，將緩衝區中的資料寫到磁碟。但是當這一次的fsync呼叫時長超過1秒時。Redis會採取延遲fsync的策略，再等一秒鐘。也就是在兩秒後再進行fsync，這一次的fsync就不管會執行多長時間都會進行。這時候由於在fsync時檔案描述符會被阻塞，所以當前的寫操作就會阻塞。所以結論就是，在絕大多數情況下，Redis會每隔一秒進行一次fsync。在最壞的情況下，兩秒鐘會進行一次fsync操作。這一操作在大多數資料庫系統中被稱為group commit，就是組合多次寫操作的資料，一次性將日誌寫到磁碟。
• appednfsync always 當設定appendfsync為always時，每一次寫操作都會呼叫一次fsync，這時資料是最安全的，當然，由於每次都會執行fsync，所以其效能也會受到影響。

對於一般性的業務需求，建議使用RDB的方式進行持久化，原因是RDB的開銷並相比AOF日誌要低很多，對於那些無法忍資料丟失的應用，建議使用AOF日誌。

8.2.叢集管理的不同 

Memcached是全記憶體的資料緩衝系統，Redis雖然支援資料的持久化，但是全記憶體畢竟才是其高效能的本質。作為基於記憶體的儲存系統來說，機器實體記憶體的大小就是系統能夠容納的最大資料量。如果需要處理的資料量超過了單臺機器的實體記憶體大小，就需要構建分散式叢集來擴充套件儲存能力。

Memcached本身並不支援分散式，因此只能在客戶端通過像一致性雜湊這樣的分散式演算法來實現Memcached的分散式儲存。下圖給出了Memcached的分散式儲存實現架構。當客戶端向Memcached叢集傳送資料之前，首先會通過內建的分散式演算法計算出該條資料的目標節點，然後資料會直接傳送到該節點上儲存。但客戶端查詢資料時，同樣要計算出查詢資料所在的節點，然後直接向該節點發送查詢請求以獲取資料。

相較於Memcached只能採用客戶端實現分散式儲存，Redis更偏向於在伺服器端構建分散式儲存。最新版本的Redis已經支援了分散式儲存功能。Redis Cluster是一個實現了分散式且允許單點故障的Redis高階版本，它沒有中心節點，具有線性可伸縮的功能。下圖給出Redis Cluster的分散式儲存架構，其中節點與節點之間通過二進位制協議進行通訊，節點與客戶端之間通過ascii協議進行通訊。在資料的放置策略上，Redis Cluster將整個key的數值域分成4096個雜湊槽，每個節點上可以儲存一個或多個雜湊槽，也就是說當前Redis Cluster支援的最大節點數就是4096。Redis Cluster使用的分散式演算法也很簡單：crc16( key ) % HASH_SLOTS_NUMBER。

為了保證單點故障下的資料可用性，Redis Cluster引入了Master節點和Slave節點。在Redis Cluster中，每個Master節點都會有對應的兩個用於冗餘的Slave節點。這樣在整個叢集中，任意兩個節點的宕機都不會導致資料的不可用。當Master節點退出後，叢集會自動選擇一個Slave節點成為新的Master節點。

8.3.為什麼要使用memcache？memcashe有什麼作用？

用於動態Web應用以減輕資料庫的負載。通過在記憶體中快取資料和物件來減少讀取資料庫的次數，從而提高了網站訪問的速度，提高使用者體驗等。

Memcache的實現原理：memcache處理的原子是每一個key、val，key會通過一個hash錶轉換成hash的key，便於查詢對比以及竟可能的做到雜湊。同時mem用的是一個二級雜湊，通過一個hash表來維護。memcache有兩個核心元件:服務端和客戶端。

在一個memcache元件查詢中，client先通過key的hash值來確定kv在service端的位置，當server端確定後，客戶端就會發一個請求個server端。讓它來查找出確切資料，因為這之間沒有互動以及多播協議，因此memcache帶給網路的影響最小。

今天的分享就到這裡啦，歡迎大家點贊、轉發、留言、拍磚~

技能樹.IT修真院   

  “我們相信人人都可以成為一個工程師，現在開始，找個師兄，帶你入門，掌控自己學習的節奏，學習的路上不再迷茫”。

   這裡是技能樹.IT修真院，成千上萬的師兄在這裡找到了自己的學習路線，學習透明化，成長可見化，師兄1對1免費指導。

快來與我一起學習吧~http://www.jnshu.com/login/1/12744596

騰訊視訊：https://v.qq.com/x/page/u0766kso7un.html