問題的引入

DB（Oracle、MySQL、Postgresql等）＋Memcached 這種架構模式在我們生產環境中十分常見，一般我們通過Memcached將熱點數據加載到cache，應用層首先向Memcached請求數據，如果緩存中存在數據，那麽直接返回應用層；但隨著業務數據量的不斷增加，和訪問量的持續增長，我們也會遇到很多問題：

• 在DB和Memcached之間如何保證數據的一致性。

• Memcached數據命中率低或down機，應用直接訪問DB，形成雪崩效應，數據庫壓力瞬間暴增，直接導致數據庫響應慢，或者crash掉。

• 跨機房cache同步問題。

Redis

• 在眾多NoSQL中我們一般拿Redis替換Memecached使用，原因有下：

• Redis 支持更多的數據類型（strings、map、 list、sets、 sorted sets等）

• Redis 支持復制功能。

• Redis 支持數據的持久化，可以將內存中的數據保持在磁盤中，重啟的時候可以再次加載進行使用。

• Redis 支持Sharding技術， 很容易將數據分布到多個Redis實例中，方便快速擴展。

• Redis 在內存分配時采用申請分配方式， 內存使用更高效。

Redis最為常用的數據類型主要有以下：

• String

• Hash

• List

• Set

• Sorted set

• pub/sub

• Transactions

數據類型應用

1. String

常用命令：get、set、incr、decr mget等。

應用場景：String是最常用的一種數據類型，普通的key/ value 存儲都可以歸為此類.即可以完全實現目前 Memcached 的功能，並且效率更高。還可以享受Redis的定時持久化，操作日誌及 Replication等功能。

除了提供與 Memcached 一樣的get、set、incr、decr 等操作外，Redis還提供了下面一些操作：

• 獲取字符串長度

• 往字符串append內容

• 設置和獲取字符串的某一段內容

• 設置及獲取字符串的某一位（bit）

• 批量設置一系列字符串的內容

2. Hash

常用命令：hget,hset,hgetall 等。

應用場景：在Memcached中，我們經常將一些結構化的信息打包成HashMap，在客戶端序列化後存儲為一個字符串的值，比如用戶的昵稱、年齡、性別、積分等，這時候在需要修改其中某一項時，通常需要將所有值取出反序列化後，修改某一項的值，再序列化存儲回去。這樣不僅增大了開銷，也不適用於一些可能並發操作的場合（比如兩個並發的操作都需要修改積分）。而Redis的Hash結構可以使你像在數據庫中Update一個屬性一樣只修改某一項屬性值。

比如我們要存儲一個用戶信息對象數據，包含以下信息：

用戶ID為查找的key，存儲的value用戶對象包含姓名，年齡，生日等信息，如果用普通的key/value結構來存儲，主要有以下2種存儲方式：

• 第一種方式將用戶ID作為查找key,把其他信息封裝成一個對象以序列化的方式存儲，這種方式的缺點是，增加了序列化/反序列化的開銷，並且在需要修改其中一項信息時，需要把整個對象取回，並且修改操作需要對並發進行保護，引入CAS等復雜問題。

  ｛"ID":"xxxxxx","username,age,birthday"｝

• 第二種方法是這個用戶信息對象有多少成員就存成多少個key-value對兒，用用戶ID+對應屬性的名稱作為唯一標識來取得對應屬性的值，雖然省去了序列化開銷和並發問題，但是用戶ID為重復存儲，如果存在大量這樣的數據，內存浪費還是非常可觀的。

  {"xxxIDusername":"xxxxx","xxxIDage":"xxxx","xxxIDbirthday":"xxxxx"}

那麽Redis提供的Hash很好的解決了這個問題，Redis的Hash實際是內部存儲的Value為一個HashMap，並提供了直接存取這個Map成員的接口：

{"ID":"xxxxxx":"userinfo":"\"username\":\"xxxxName\",\"age\":\"xxxx\",\"birthday\":\"xxxxxx\""｝，也就是說，Key仍然是用戶ID, value是一個Map，這個Map的key是成員的屬性名，value是屬性值，這樣對數據的修改和存取都可以直接通過其內部Map的Key(Redis裏稱內部Map的key為field), 也就是通過 key(用戶ID) + field(屬性標簽) 就可以操作對應屬性數據了，既不需要重復存儲數據，也不會帶來序列化和並發修改控制的問題。很好的解決了問題。

3. List

常用命令：lpush,rpush,lpop,rpop,lrange等。

應用場景：Redis list的應用場景非常多，也是Redis最重要的數據結構之一，比如twitter的關註列表，粉絲列表等都可以用Redis的list結構來實現。

Lists 就是鏈表，相信略有數據結構知識的人都應該能理解其結構。使用Lists結構，我們可以輕松地實現最新消息排行等功能。Lists的另一個應用就是消息隊列，

可以利用Lists的PUSH操作，將任務存在Lists中，然後工作線程再用POP操作將任務取出進行執行。Redis還提供了操作Lists中某一段的api，你可以直接查詢，刪除Lists中某一段的元素。

4. Set

常用命令：sadd,spop,smembers,sunion 等。

應用場景：Redis set對外提供的功能與list類似是一個列表的功能，特殊之處在於set是可以自動排重的，當你需要存儲一個列表數據，又不希望出現重復數據時，set是一個很好的選擇，並且set提供了判斷某個成員是否在一個set集合內的重要接口，這個也是list所不能提供的。

Sets 集合的概念就是一堆不重復值的組合。利用Redis提供的Sets數據結構，可以存儲一些集合性的數據，比如在微博應用中，可以將一個用戶所有的關註人存在一個集合中，將其所有粉絲存在一個集合。Redis還為集合提供了求交集、並集、差集等操作，可以非常方便的實現如共同關註、共同喜好、二度好友等功能，對上面的所有集合操作，你還可以使用不同的命令選擇將結果返回給客戶端還是存集到一個新的集合中。

5. Sorted Set

常用命令：zadd,zrange,zrem,zcard等。

使用場景：Redis sorted set的使用場景與set類似，區別是set不是自動有序的，而sorted set可以通過用戶額外提供一個優先級(score)的參數來為成員排序，並且是插入有序的，即自動排序。當你需要一個有序的並且不重復的集合列表，那麽可以選擇sorted set數據結構，比如twitter 的public timeline可以以發表時間作為score來存儲，這樣獲取時就是自動按時間排好序的。

另外還可以用Sorted Sets來做帶權重的隊列，比如普通消息的score為1，重要消息的score為2，然後工作線程可以選擇按score的倒序來獲取工作任務。讓重要的任務優先執行。

6. Pub/Sub

Pub/Sub 從字面上理解就是發布（Publish）與訂閱（Subscribe），在Redis中，你可以設定對某一個key值進行消息發布及消息訂閱，當一個key值上進行了消息發布後，所有訂閱它的客戶端都會收到相應的消息。這一功能最明顯的用法就是用作實時消息系統，比如普通的即時聊天，群聊等功能。

實際應用場景

1、顯示最新的項目列表

下面這個語句常用來顯示最新項目，隨著數據多了，查詢毫無疑問會越來越慢。

SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10

在Web應用中，“列出最新的回復”之類的查詢非常普遍，這通常會帶來可擴展性問題。這令人沮喪，因為項目本來就是按這個順序被創建的，但要輸出這個順序卻不得不進行排序操作。

類似的問題就可以用Redis來解決。比如說，我們的一個Web應用想要列出用戶貼出的最新20條評論。在最新的評論邊上我們有一個“顯示全部”的鏈接，點擊後就可以獲得更多的評論。

我們假設數據庫中的每條評論都有一個唯一的遞增的ID字段。

我們可以使用分頁來制作主頁和評論頁，使用Redis的模板，每次新評論發表時，我們會將它的ID添加到一個Redis列表： LPUSH latest.comments <ID>

我們將列表裁剪為指定長度，因此Redis只需要保存最新的5000條評論：

LTRIM latest.comments 0 5000

每次我們需要獲取最新評論的項目範圍時，我們可以先從Redis 取得這個範圍的 ID List， 然後拿這個ID list 到DB裏邊直接去取數據 ，這個ID一般就是我們RDBMS裏邊的 uniq key 或者primary key ， 這樣以來我們省去了在 RDBMS 排序的時間，直接使用 consat 方式

我們的系統不會像傳統方式那樣“刷新”緩存，Redis實例中的信息永遠是一致的。SQL數據庫（或是硬盤上的其他類型數據庫）只是在用戶需要獲取“很遠”的數據時才會被觸發，而主頁或第一個評論頁是不會麻煩到硬盤上的數據庫了。

2、刪除與過濾

我們可以使用LREM來刪除評論。如果刪除操作非常少，另一個選擇是直接跳過評論條目的入口，報告說該評論已經不存在。

有些時候你想要給不同的列表附加上不同的過濾器。如果過濾器的數量受到限制，你可以簡單的為每個不同的過濾器使用不同的Redis列表。畢竟每個列表只有5000條項目，但Redis卻能夠使用非常少的內存來處理幾百萬條項目。

3、排行榜相關

另一個很普遍的需求是各種數據庫的數據並非存儲在內存中，因此在按得分排序以及實時更新這些幾乎每秒鐘都需要更新的功能上數據庫的性能不夠理想。

典型的比如那些在線遊戲的排行榜，比如一個Facebook的遊戲，根據得分你通常想要：

- 列出前100名高分選手

- 列出某用戶當前的全球排名

這些操作對於Redis來說小菜一碟，即使你有幾百萬個用戶，每分鐘都會有幾百萬個新的得分。

模式是這樣的，每次獲得新得分時，我們用這樣的代碼：

ZADD leaderboard  <score>  <username>

你可能用userID來取代username，這取決於你是怎麽設計的。

得到前100名高分用戶很簡單：

ZREVRANGE leaderboard 0 99

用戶的全球排名也相似，只需要：

ZRANK leaderboard <username>

4、按照用戶投票和時間排序

排行榜的一種常見變體模式就像Reddit或Hacker News用的那樣，新聞按照類似下面的公式根據得分來排序：

score = points / time^alpha

因此用戶的投票會相應的把新聞挖出來，但時間會按照一定的指數將新聞埋下去。下面是我們的模式，當然算法由你決定。

模式是這樣的，開始時先觀察那些可能是最新的項目，例如首頁上的1000條新聞都是候選者，因此我們先忽視掉其他的，這實現起來很簡單。

每次新的新聞貼上來後，我們將ID添加到列表中，使用LPUSH + LTRIM，確保只取出最新的1000條項目。

有一項後臺任務獲取這個列表，並且持續的計算這1000條新聞中每條新聞的最終得分。計算結果由ZADD命令按照新的順序填充生成列表，老新聞則被清除。這裏的關鍵思路是排序工作是由後臺任務來完成的。

5、處理過期項目

另一種常用的項目排序是按照時間排序。我們使用unix時間作為得分即可。

模式如下：

- 每次有新項目添加到我們的非Redis數據庫時，我們把它加入到排序集合中。這時我們用的是時間屬性，current_time和time_to_live。

- 另一項後臺任務使用ZRANGE…SCORES查詢排序集合，取出最新的10個項目。如果發現unix時間已經過期，則在數據庫中刪除條目。

6、計數

Redis是一個很好的計數器，這要感謝INCRBY和其他相似命令。

我相信你曾許多次想要給數據庫加上新的計數器，用來獲取統計或顯示新信息，但是最後卻由於寫入敏感而不得不放棄它們。

好了，現在使用Redis就不需要再擔心了。有了原子遞增（atomic increment），你可以放心的加上各種計數，用GETSET重置，或者是讓它們過期。

例如這樣操作：

INCR user:<id> EXPIRE

你可以計算出最近用戶在頁面間停頓不超過60秒的頁面瀏覽量，當計數達到比如20時，就可以顯示出某些條幅提示，或是其它你想顯示的東西。

7、特定時間內的特定項目

另一項對於其他數據庫很難，但Redis做起來卻輕而易舉的事就是統計在某段特點時間裏有多少特定用戶訪問了某個特定資源。比如我想要知道某些特定的註冊用戶或IP地址，他們到底有多少訪問了某篇文章。

每次我獲得一次新的頁面瀏覽時我只需要這樣做：

SADD page:day1:<page_id> <user_id>

當然你可能想用unix時間替換day1，比如time()-(time()%3600*24)等等。

想知道特定用戶的數量嗎？只需要使用：

SCARD page:day1:<page_id>

需要測試某個特定用戶是否訪問了這個頁面？

SISMEMBER page:day1:<page_id>

8、實時分析正在發生的情況，用於數據統計與防止垃圾郵件等

我們只做了幾個例子，但如果你研究Redis的命令集，並且組合一下，就能獲得大量的實時分析方法，有效而且非常省力。使用Redis原語命令，更容易實施垃圾郵件過濾系統或其他實時跟蹤系統。

9、Pub/Sub

Redis的Pub/Sub非常非常簡單，運行穩定並且快速。支持模式匹配，能夠實時訂閱與取消頻道。

10、隊列

你應該已經註意到像list push和list pop這樣的Redis命令能夠很方便的執行隊列操作了，但能做的可不止這些：比如Redis還有list pop的變體命令，能夠在列表為空時阻塞隊列。

現代的互聯網應用大量地使用了消息隊列（Messaging）。消息隊列不僅被用於系統內部組件之間的通信，同時也被用於系統跟其它服務之間的交互。消息隊列的使用可以增加系統的可擴展性、靈活性和用戶體驗。非基於消息隊列的系統，其運行速度取決於系統中最慢的組件的速度（註：短板效應）。而基於消息隊列可以將系統中各組件解除耦合，這樣系統就不再受最慢組件的束縛，各組件可以異步運行從而得以更快的速度完成各自的工作。

此外，當服務器處在高並發操作的時候，比如頻繁地寫入日誌文件。可以利用消息隊列實現異步處理。從而實現高性能的並發操作。

NoSQL - Redis應用場景