1. 程式人生 > >Redis 叢集詳解 環境搭建 呼叫案例

Redis 叢集詳解 環境搭建 呼叫案例

http://www.jianshu.com/p/dbc62ed27f03

這是redis叢集介紹的上篇,主要是關於Redis叢集的搭建。後續將為大家介紹Redis叢集的常用命令、Java操作Redis叢集、以及與Spring/Spring MVC的整合等知識。

Redis叢集搭建

要想搭建一個最簡單的Redis叢集,那麼至少需要6個節點:3個Master和3個Slave。為什麼需要3個Master呢?如果你瞭解過Hadoop/Storm/Zookeeper這些的話,你就會明白一般分散式要求基數個節點,這樣便於選舉(少數服從多數的原則)。


Redis叢集模型

這裡,我將採用一種“偷懶”的方式,在一個Linux虛擬機器上搭建6個節點的Redis叢集。(因為開啟6個Linux虛擬機器,我的電腦完全扛不住)

實際上,思路很簡單,我將在一臺節點上開啟6個Redis例項,並且這6個Redis各自有自己的埠。這樣的話,相當於模擬出了6臺機器了。然後在以這6個例項組建Redis叢集就可以了。

第一步:為這6個例項建立好各自存放的目錄


想一想,為什麼要這樣做呢?

第二步:既然是要啟動6個Redis例項,自然需要準備各自的配置檔案


拷貝redis.conf 6份
6個Redis例項的具體配置

具體來說,需要注意下:由於在一臺機器(192.168.99.121)上,因此每個例項應該有不同的埠;同時,每個例項顯然會有自己的存放資料的地方;開啟AOF模式;開啟叢集配置;開啟後臺模式;

第三步:實際上,Redis叢集的操作在後文你可以看到是通過Ruby指令碼來完成的,因此我們需要安裝Ruby相關的RPM包,以及Redis和Ruby的介面包。


yum install ruby
yum install rubygems
gem install redis

第四步:讓Redis叢集工作起來!


啟動6個Redis例項

接下來,我們要通過Ruby指令碼來建立叢集了。


redis-trib.rb是操作Redis叢集的指令碼

[[email protected] bin]# ./redis-trib.rb create --replicas 1 192.168.99.121:8001 192.168.99.121:8002 192.168.99.121:8003 192.168.99.121:8004 192.168.99.121:8005 192.168.99.121:8006


create redis cluster
redis cluster info

首先,我們來看一下建立叢集命令中 --replicas 1,這個代表什麼意思呢?1其實代表的是一個比例,就是主節點數/從節點數的比例。那麼想一想,在建立叢集的時候,哪些節點是主節點呢?哪些節點是從節點呢?答案是將按照命令中IP:PORT的順序,先是3個主節點,然後是3個從節點。這一點可以通過上面的2張圖片印證。

其次,注意到圖中slot的概念。slot對於Redis叢集而言,就是一個存放資料的地方,就是一個槽。對於每一個Master而言,會存在一個slot的範圍,而Slave則沒有。在Redis叢集中,依然是Master可以讀、寫,而Slave只讀。資料的寫入,實際上是分佈的儲存在slot中,這和以前1.X的主從模式是不一樣的(主從模式下Master/Slave資料儲存是完全一致的),因為Redis叢集中3臺Master的資料儲存並不一樣。這一點將在後續的實驗中得到驗證。

第五步:驗證Redis叢集搭建是否成功


cluster info/cluster nodes
搭建起來的Redis叢集

到這裡,Redis叢集的搭建就完畢了,See U~


Redis叢集操作實踐

資料的分佈性


資料分佈性

從上面的操作,你可以看到,當儲存某一個數據的時候,會分配一個slot,而這個slot從屬於某一個Master,也就是說你需要明白,資料是分佈的儲存在Redis叢集當中的。

線上水平擴容

Redis Cluster有一個非常重要的特點就是可以線上的新增節點,實現不影響業務的水平擴容。在這裡,我將會在原來6個redis節點上,再新增2個redis節點。做法和以前一致,注意修改redis.conf,然後在啟動8007、8008這2個redis例項。


修改redis.conf配置
啟動新新增的2個redis例項
叢集狀態

其實,目前雖然啟動了新加的2個redis例項,但是它們是不屬於叢集的。下面,我們來讓它們加入叢集中。


add-node命令

./redis-trib.rb add-node 192.168.99.121:8007 192.168.99.121:8006

./redis-trib.rb add-node 新節點 叢集中已經存在的節點

在往叢集中新增節點A的時候,需要提供一個在叢集中已經存在的節點B的資訊。因為知道了B的資訊,就知道了整個叢集的資訊。為什麼這麼說呢,來,我們看一個檔案,你就知道了。


nodes-xxx.conf

要知道叢集中的每一個節點都有這麼一個檔案,儲存著叢集中每一個節點的資訊:節點的角色、節點的ID、連線狀態、slot範圍、IP/PORT資訊等。仔細觀察圖中,你可以發現,新加入的8007節點,實際上被預設為master節點,並且沒有slot分配!這說明,新加入的節點現在還不可以儲存資料,因此我們要為新節點分配slot槽。

[[email protected] bin]# ./redis-trib.rb reshard 192.168.99.121:8001

要知道slot都分配在master上,因此其實我們要做的就是從叢集的masters上進行重新分配。上面的命令需要指定一個master節點進行reshard分片。


slot重新分配

圖中要為新加入的節點8007分配500個slot,而且分配的方式是"all",all是什麼意思呢?all代表從已經存在的所有的master上均勻的分配一部分slot給8007。當然你可以通過"done"來指定某一個master進行分配。注意分配給8007是通過節點ID來指定的。


分配後的叢集資訊

按照上面的操作,我將8008節點也加入叢集中,我的想法是讓8008成為8007的從節點。既然是從節點,就不需要分配slot槽。注意到add-node方式加入的節點,預設就是master節點,因此這裡我們得利用replicate指定主節點。

[[email protected] bin]# ./redis-trib.rb add-node 192.168.99.121:8008 192.168.99.121:8001


為從節點指定主節點

那麼到現在,我們就線上完成了對Redis叢集的水平擴容。那麼如何刪除節點呢?刪除節點時,資料怎麼辦呢?對於從節點,刪除就刪除了,並不要緊,關鍵是主節點,因為主節點上有slot。因此,在刪除主節點前,我們要對主節點的slot進行重新分配,完成資料的遷移。這裡我就不再演示了,直接給出命令。

刪除主節點:先reshard + 後del-node

刪除從節點:直接del-node

Redis實現Session共享

Redis可以被用於Session共享,不過現在CAS實現單點登入更容易些。(CAS以後為大家介紹)


redis叢集儲存session資訊

不論是Nginx掛了,還是其中的Tomcat掛掉,都不會丟失Session資訊。在實現上,有現成的外掛,比如:https://github.com/jcoleman/tomcat-redis-session-manager 

Java操作Redis

在單機Redis環境:Jedis

這個沒什麼好說的,就是給定IP/PORT例項化Jedis操作即可。

Jedis jedis = new Jedis("192.168.99.121", 8001);

在多臺Redis環境:ShardedJedis+ShardedJedisPool


ShardedJedis方式

這是一種切片的方式來操作redis,通過hash而均勻的分配到pool裡的redis機器中。

在Redis叢集環境:JedisCluster


JedisCluster

與Spring整合

我們直接來看配置檔案吧!


redis叢集與Spring整合

同上文Java操作Redis叢集的程式碼對比下,其實XML就是程式碼的對映。只不過通過spring的方式,幫助我們配置生成了一個bean:redisCluster。我們可以通過注入的方式得到redisCluster,然後我們想幹啥就可以幹啥,就這麼簡單~

Redis高階特性介紹及例項分析

http://www.jianshu.com/p/af7043e6c8f9

本文將為大家介紹Redis的一些高階特性以及結合一個具體的實際案例來對Redis進行設計分析。

Redis基礎型別回顧

String

Redis中最基本,也是最簡單的資料型別。注意,VALUE既可以是簡單的String,也可以是複雜的String,如JSON,在實際中常常利用fastjson將物件序列化後儲存到Redis中。另外注意mget批量獲取可以提高效率。

Hash

Hash結構適用於儲存物件,相較於String,儲存佔用更少的記憶體。Hash結構可以使你像在資料庫中Update一個屬性一樣只修改某一項屬性值,而且還可以快速定位資料。比如,如果我們把表User中的資料可以這樣放置到Redis中:Hash儲存,KEY:User,Field:USERID,VALUE:user序列化後的string。

List

既可以當做棧、又可以當做佇列。實際上,可以利用List的先進先出或者先進後出的特性維護一段列表,比如排行榜、實時列表等,甚至還可以簡單的當做訊息佇列來使用。

Set

Set是String型別的不重複無序集合。Set的特點在於,它提供了集合的一些運算,比如交集、並集、差集等。這些運算特性,非常方便的解決實際場景中的一些問題,如共同關注、共同粉絲等。

ZSet

ZSet就是SortedSet。實際中,很多排序場景都可以考慮ZSet來做。

Redis發展過程中的三種模式:主從、哨兵、叢集

Redis的發展可以從版本的變化看出來,從1.X的主從模式,到2.X的哨兵模式,再到今天3.X的叢集模式,可以說這些都是Redis保證資料可靠性、高可用的思路。下面我們來簡單實踐下。環境說明:這裡準備了4臺Centos Linux,裝有redis的3.0版本。


主從模式

Redis早期用於保證資料可靠性的一種簡單方式。具體來說,Master可用於寫、讀,而Slave一般只用於讀。


其實在配置上相當簡單,只需要在Slave節點配置下Master的IP、PORT、密碼即可。


192.168.99.122/123 redis.conf

Master info


master info

Slave info


slave info

一個Master可以擁有多個Slave

主從複製不會阻塞住Master,在同步資料時Master可以繼續處理client端請求

哨兵模式


對於主從複製模式而言,有個明顯的缺點:一旦主節點掛了,那麼redis服務將不可用。在2.X中,為了確保可高用,所以發展出來哨兵模式。顧名思義,就是哨兵站崗,去監聽master心跳,如果master掛了,那麼將從slave中選舉出一個master來,從而實現了故障自動切換。

實質上,在Master-Slave模式基礎上,只需要在啟動一個哨兵服務進行監聽就可以,這個哨兵服務可以部署在Master/Slave上,也可以部署到其他機器上。當然,在實際中為了避免哨兵節點的單點性,也會配置多個哨兵服務。

哨兵節點192.168.99.124  sentinel.conf:

sentinel monitor mymaster 192.168.99.121 6379 1

sentinel down-after-milliseconds mymaster 5000

sentinel parallel-syncs mymaster 2

我們需要告訴哨兵服務:

監控的主節點的IP,PORT

如果master掛了,那麼選舉的時候,slave達到多少票就可以成為主節點

監控主節點的心跳頻率

主節點下有多少slave


叢集模式

Redis叢集模式是目前應用非常廣泛的,Redis叢集模式的出現,也使得以前的一些Redis技術,比如分片、都不在適用了,同時資料的高可靠、資料分佈性、服務的高可用性進一步加強。關於Redis叢集將在下一篇部落格中詳細介紹。

Redis的簡單事務

目前來看,Redis對事務的支援是比較簡單的,在實際應用中,我們基本上是不會使用的。看一個例項,你就會明白。通過multi開啟事務,通過exec來提交事務。可以看到,redis的事務目前是不支援一起成功,一起失敗這種基本要求的,即便在事務中有錯誤,亦不會回退,和MySQL的事務功能相距甚遠吧。


redis事務

Redis持久化機制

Redis是一個支援持久化的記憶體資料庫,也就是說Redis需要經常將記憶體中的資料同步到硬碟來保證持久化,有2種方式實現。

RDB

RDB方式,也稱作快照snapshotting,將記憶體中的資料以快照的方式寫入到二進位制檔案dump.rdb中,這種方式也是redis的預設方式。可以在redis.conf中設定儲存的策略。一句話:redis在N秒內如果超過M個KEY發生修改則自動做快照儲存。


save機制

AOF


aof檔案內容

AOF,即Append-Only File。要知道RDB的方式,是在一定的時間間隔做一次,如果redis意外down掉,這將意味著會丟失最後一次快照後的所有修改資料,這在生產環境將不太可能接受。AOF比RDB有著更好的持久化方式,通過AOF,redis會將每一個收到的寫命令都通過write函式追加到命令中,當redis重新啟動時,會重新執行檔案中儲存的寫命令來重建資料內容。

redis.conf:


aof策略

在實際應用中,為了確保資料高可靠性,應該使用always策略。

釋出與訂閱訊息

概念上比較簡單,如果你訂閱了頻道,那麼這個頻道上釋出的訊息,你都會知道。實際中應用較多的是訊息中介軟體(ActiveMQ,RocketMQ)的訂閱釋出模式(在以後的訊息中介軟體專題再為大家介紹)。


釋出
訂閱

Redis案例設計分析


我們先來看一個京東上進行商品搜尋的圖.

假設一個類似的場景,有幾百萬,甚至幾千萬的商品資料,考慮下如何快速實現搜尋查詢呢?當然,我們不可能直接查詢MySQL,應該需要在MySQL上加一層,可以考慮加一層Redis。


將MySQL中的資料載入至Redis中,給定條件,直接遍歷Hash資料進行查詢。如果就這樣簡單的設計的話,對於京東這樣的大流量平臺,每天有非常多的人進行商品搜尋,而且每個人搜尋的條件還不一樣,根本無法快速響應。


如上圖所示,我們可以這樣設計:

我們事先建立好一系列的SET,實際上這些Set都是各種分類的ProductID集合

使用者的搜尋條件,實際上就是各種SET進行交、並、補的運算而已

要知道SET進行運算後的結果,就是ProductID集合,此時範圍已經有所縮小,比起直接遍歷全部商品資料要小不少

上這裡也可以看出,Redis雖然用起來簡單,但是要綜合運用,並根據業務場景進行設計,還是挺有意思的。到這裡就結束了,我們下期Redis叢集再見!