1. 程式人生 > >Redis 基數統計:HyperLogLog 小記憶體大用處

Redis 基數統計:HyperLogLog 小記憶體大用處

我們一直都知道,redis幾大常用資料結構,字串、雜湊、列表、集合、有序集合。其實後來Redis做了很多補充,其中之一就是HyperLogLog,另外的還有GEO(地理位置),是3.2版本加的。

這裡我們就來簡單介紹下HyperLogLog結構。

先說用處:這個結構可以非常省記憶體的去統計各種計數,比如註冊ip數、每日訪問IP數、頁面實時UV(PV肯定字串就搞定了)、線上使用者數等。

這裡看到所有的用處都是xxx數,所以這個資料結構的特點就是,可以比較準確的估算出你要統計的數量,但是卻無法知道統計的詳細內容。比如統計每日訪問IP數,可以獲取當時訪問過的IP總數量,但是沒法知道這些IP都是什麼。

有得必有失,當然你要統計上面提到的那些內容,可以用集合來處理,這樣可以知道數量,也能獲得所有的詳細列表。但是一個大型的網站,每天IP比如有100萬個呢,我們粗算一個IP消耗15位元組,那麼100萬個IP就是15M,如果1千萬,就是150M。

再來看看我們的HyperLogLog,在Redis中每個鍵佔用的內容都是12K,理論儲存近似接近2^64個值,不管儲存的內容是什麼。12K,知道這個資料結構的作用了吧。這也是為什麼他不能知道里面的詳細內容了。這是一個基於基數估算的演算法,只能比較準確的估算出基數,可以使用少量固定的記憶體去儲存並識別集合中的唯一元素。而且這個估算的基數並不一定準確,是一個帶有 0.81% 標準錯誤(standard error)的近似值

HyperLogLog結構,在範圍允許的情況下無論多少值,都只會佔用12K記憶體。

這樣比如我們把每日IP記錄下來,假設每天有一億個IP訪問,如果使用集合的話,一天的記憶體使用就是1.5G,假設我們儲存一個月的記錄,就需要45G容量。但是使用HyperLogLog的話,一天12K,一個月360K。如果我們不需要知道IP具體資訊的話,完全可以把這些記錄留在記憶體一年、或者不刪都行。如果需要,我們也會把所有的IP訪問記錄通過其他途徑儲存起來。把每天的資訊儲存起來,我們可以計算每月IP總數(MERGE),一年的IP總數等(去重)。

下面介紹一下HyperLogLog的命令,其實他和集合的命令比較像,只是命令少,不能獲取列表而已。另外這個資料結構需要2.8.9及以上的版本才能使用哦~

PFADD

在執行這個命令之後,HyperLogLog內部的結構會被更新,並有所反饋,如果執行完之後HyperLogLog內部的基數估算髮生了變化,那麼就會返回1,否則(認為已經存在)就返回0。
這個命令還有一個比較神器的就是可以只有鍵,沒有值,這樣的意思就是隻是建立空的鍵,不放值。
如果這個鍵存在,不做任何事情,返回0;不存在的話就建立,並返回1。

這個命令的時間複雜度為O(1),所以就放心用吧~

命令例子:

redis> PFADD  ip:20160929  "1.1.1.1"  "2.2.2.2"  "3.3.3.3"
(integer) 1
redis> PFADD  ip:20160929 "2.2.2.2"  "4.4.4.4"  "5.5.5.5"  # 存在就只加新的
(integer) 1
redis> PFCOUNT  ip:20160929  # 元素估計數量沒有變化
(integer) 5
redis> PFADD  ip:20160929 "2.2.2.2"  # 存在就不會增加
(integer) 0

其實我們發現在少的時候還是挺準的,哈哈。

PFCOUNT

其實在上面的學習中我們已經用過這個了,這裡再來介紹下。

當命令作用於單個鍵的時候,返回這個鍵的基數估算值。如果鍵不存在,則返回0。
當作用於多個鍵的時候,返回這些鍵的並集估算值。類似於把這些鍵都合併了之後,在呼叫這個命令輸出。

這個命令在作用於單個值的時候,時間複雜度為O(1),並且具有非常低的平均常數時間;在作用於N個值的時候,時間複雜度為O(N),這個命令的常數複雜度會比較低些。

命令例子:

redis> PFADD  ip:20160929  "1.1.1.1"  "2.2.2.2"  "3.3.3.3"
(integer) 1
redis> PFCOUNT  ip:20160929
(integer) 3
redis> PFADD  ip:20160928  "1.1.1.1"  "4.4.4.4"  "5.5.5.5"
(integer) 1
redis> PFCOUNT  ip:20160928  ip:20160929
(integer) 5

PFMERGE

合併(merge)多個HyperLogLog為一個HyperLogLog。其實這個也很好理解,而合併後的估算基數也近似於所有HyperLogLog估算基數的並集。

這個命令的第一個引數為目標鍵,剩下的引數為要合併的HyperLogLog。命令執行時,如果目標鍵不存在,則建立後再執行合併。

這個命令的時間複雜度為O(N),其中N為要合併的HyperLogLog的個數。不過這個命令的常數時間複雜度比較高。

命令例子:

redis> PFADD  ip:20160929  "1.1.1.1"  "2.2.2.2"  "3.3.3.3"
(integer) 1
redis> PFADD  ip:20160928  "1.1.1.1"  "4.4.4.4"  "5.5.5.5"
(integer) 1
redis> PFMERGE ip:201609   ip:20160928   ip:20160929
OK
redis> PFCOUNT  ip:201609
(integer) 5