2. 程式人生 > >Redis RDB 分析工具 rdbtools 說明

Redis RDB 分析工具 rdbtools 說明

阿新 • • 發佈：2020-07-11

背景

       Redis是基於記憶體的KV資料庫，記憶體作為儲存介質，關注其記憶體的使用情況是一個重要指標，解析其內部的儲存資訊是給出優化方法和維護的最基本要求。解析記憶體有二種方法：第一個是通過scan遍歷所有key，針對每個key進行分析（memory usage）；第二個是基於RDB檔案進行所有key的分析（redis-rdb-tools）。本文將介紹如何使用rdbtools工具。

說明

rdbtools工具包括了3個可執行檔案：

rdb  -- 解析整個rdb檔案
redis-memory-for-key -- 解析server裡的單個key
redis-profiler --解析rdb檔案成html格式

rdb是rdbtools工具包其中之一的工具，也是解析dump.rdb檔案的工具：分析記憶體並將資料匯出到JSON，Rdbtools是Redis的dump.rdb檔案的解析器，解析器生成類似於xml。rdbtools提供了以下實用程式：

  1. 生成所有資料庫和鍵中資料的記憶體報告
  2. 將轉儲檔案轉換為JSON
  3. 使用標準差異工具比較兩個轉儲檔案

安裝 rdbtools

前提條件：

  1. 安裝 python-lzf ：加快解析速度
    pip install python-lzf
  2. 安裝redis-py：可選，僅在執行測試用例時需要

PyPI安裝（推薦）

pip install rdbtools python-lzf

原始碼安裝

git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install

命令列用法示例

help：

1，rdb --help：解析整個rdb檔案

usage: rdb [options] /path/to/dump.rdb

Example : rdb --command json -k "user.*" /var/redis/6379/dump.rdb

positional arguments:
-- 要處理的dump檔案
  dump_file             RDB Dump file to process       

optional arguments:
-- 幫助
  -h, --help            show this help message and exit  
-- 要處理的命令，-c後的有效引數為：json, diff,justkeys, justkeyvals, memory，protocol 
  -c CMD, --command CMD
                        Command to execute. Valid commands are json, diff,
                        justkeys, justkeyvals, memory and protocol  
-- 輸出檔案       
  -f FILE, --file FILE  Output file
-- 資料庫號，可以提供多個數據庫。如果未指定，則包括所有資料庫。
  -n DBS, --db DBS      Database Number. Multiple databases can be provided.
                        If not specified, all databases will be included.
-- 要匯出的key。這可以是一個正則表示式
  -k KEYS, --key KEYS   Keys to export. This can be a regular expression
-- key不匯出。這可以是一個正則表示式
  -o NOT_KEYS, --not-key NOT_KEYS
                        Keys Not to export. This can be a regular expression
-- 解析的資料型別。可能的值為string，hash，set，sortedset，list。可以輸入多種型別提供。如果未指定，則為所有資料型別
  -t TYPES, --type TYPES
                        Data types to include. Possible values are string,
                        hash, set, sortedset, list. Multiple typees can be
                        provided. If not specified, all data types will be
                        returned
--  將key的記憶體輸出限制為大於或等此值（以位元組為單位）
  -b BYTES, --bytes BYTES
                        Limit memory output to keys greater to or equal to
                        this value (in bytes)
--  將記憶體按大小輸出前N個key                       
  -l LARGEST, --largest LARGEST
                        Limit memory output to only the top N keys (by size)
-- 將字串轉義為編碼：raw（預設），print，utf8或base64。
  -e {raw,print,utf8,base64}, --escape {raw,print,utf8,base64}
                        Escape strings to encoding: raw (default), print,
                        utf8, or base64.
-- 使用command protocol引數，從所有鍵中刪除到期的key                       
  -x, --no-expire       With protocol command, remove expiry from all keys
-- 使用command protocol引數，將N秒新增到key的到期時間
  -a N, --amend-expire N
                        With protocol command, add N seconds to key expiry
                        time

2，redis-memory-for-key --help：-- 解析server裡指定的單個key

Usage: redis-memory-for-key [options] redis-key
Examples :
redis-memory-for-key user:13423
redis-memory-for-key -s localhost -p 6379 user:13423


Options:
-- 幫助
  -h, --help            show this help message and exit
-- 服務地址，預設127.0.0.1
  -s HOST, --server=HOST
                        Redis Server hostname. Defaults to 127.0.0.1
-- 服務埠，預設6379                        
  -p PORT, --port=PORT  Redis Server port. Defaults to 6379
--服務密碼
  -a PASSWORD, --password=PASSWORD
                        Password to use when connecting to the server
-- 資料庫號，預設0
  -d DB, --db=DB        Database number, defaults to 0 

3，redis-profiler --help：

Usage: redis-profiler [options] /path/to/dump.rdb

Example 1 : redis-profiler -k "user.*" -k "friends.*" -f memoryreport.html /var/redis/6379/dump.rdb
Example 2 : redis-profiler /var/redis/6379/dump.rdb

Options:
-- 幫助
  -h, --help            show this help message and exit
-- 輸出
  -f FILE, --file=FILE  Output file
-- 組合在一起的鍵。 多個正則表示式
  -k KEYS, --key=KEYS   Keys that should be grouped together. Multiple regexes
                        can be provided

每次執行以上工具時都需要指定一個命令，以指示對解析的RDB資料應執行的操作。 操作有：

轉儲的JSON：

> rdb --command json /var/redis/6379/dump.rdb

[{
"user003":{"fname":"Ron","sname":"Bumquist"},
"lizards":["Bush anole","Jackson's chameleon","Komodo dragon","Ground agama","Bearded dragon"],
"user001":{"fname":"Raoul","sname":"Duke"},
"user002":{"fname":"Gonzo","sname":"Dr"},
"user_list":["user003","user002","user001"]},{
"baloon":{"helium":"birthdays","medical":"angioplasty","weather":"meteorology"},
"armadillo":["chacoan naked-tailed","giant","Andean hairy","nine-banded","pink fairy"],
"aroma":{"pungent":"vinegar","putrid":"rotten eggs","floral":"roses"}}]

過濾解析：

正則表示式匹配key，並且僅列印鍵和值：

> rdb --command justkeyvals --key "user.*" /var/redis/6379/dump.rdb

user003 fname Ron,sname Bumquist,
user001 fname Raoul,sname Duke,
user002 fname Gonzo,sname Dr,
user_list user003,user002,user001

僅處理資料庫2中hash型別的a開頭的key：

> rdb -c json --db 2 --type hash --key "a.*" /var/redis/6379/dump.rdb

[{},{
"aroma":{"pungent":"vinegar","putrid":"rotten eggs","floral":"roses"}}]

dump檔案轉換為JSON：

輸出是UTF-8編碼的JSON。 預設情況下，回撥嘗試使用UTF-8解析RDB資料，並使用\U表示符轉義非'ASCII可列印'字元，或使用\x轉義非UTF-8可解析的位元組。 嘗試對RDB資料進行解碼可能會導致二進位制資料錯誤，可以通過使用--escape raw選項來避免這種情況。 另一種選擇是使用-e base64進行二進位制資料的Base64編碼。 

解析dump檔案並在標準輸出上列印JSON： 

> rdb -c json /var/redis/6379/dump.rdb

[{
"Citat":["B\u00e4ttre sent \u00e4n aldrig","Bra karl reder sig sj\u00e4lv","Man ska inte k\u00f6pa grisen i s\u00e4cken"],
"bin_data":"\\xFE\u0000\u00e2\\xF2"}]

將dump檔案解析為原始位元組，並在標準輸出上列印JSON：

> rdb -c json /var/redis/6379/dump.rdb --escape raw

[{
"Citat":["B\u00c3\u00a4ttre sent \u00c3\u00a4n aldrig","Bra karl reder sig sj\u00c3\u00a4lv","Man ska inte k\u00c3\u00b6pa grisen i s\u00c3\u00a4cken"],
"bin_data":"\u00fe\u0000\u00c3\u00a2\u00f2"}]

生成記憶體報告：

使用-c memory 執行會生成CSV報告，其中包含該鍵使用的近似記憶體。 --bytes C 和 --largest N 可用於將輸出限制為大於C位元組的鍵或N個最大鍵。

> rdb -c memory /var/redis/6379/dump.rdb --bytes 128 -f memory.csv
> cat memory.csv

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,list,lizards,241,quicklist,5,19
0,list,user_list,190,quicklist,3,7
2,hash,baloon,138,ziplist,3,11
2,list,armadillo,231,quicklist,5,20
2,hash,aroma,129,ziplist,3,11

生成的CSV具有以下列：

database：資料庫編號
type：資料型別
key：鍵
size_in_bytes：使用的記憶體：包括鍵，值和任何其他開銷
encoding：RDB編碼型別
num_elements：key中的value的個數
len_largest_element：key中的value的長度
expiry：過期值

注意：記憶體使用情況是近似的。 通常，實際使用的記憶體將略高於報告的記憶體。可以按鍵或資料庫編號或資料型別過濾報告。記憶體報告應有助於檢測由應用程式邏輯引起的記憶體洩漏。 它還將幫助優化Redis的記憶體使用。

查詢單鍵使用的記憶體：

查詢特定鍵使用的記憶體（執行整個記憶體報告非常耗時），使用redis-memory-for-key：

> redis-memory-for-key person:1

> redis-memory-for-key -s localhost -p 6379 -a mypassword person:1

Key             person:1
Bytes                111
Type                hash
Encoding            ziplist
Number of Elements        2
Length of Largest Element    8

比較RDB檔案：

使用--command diff選項，並將輸出通過管道傳遞到標準sort：

> rdb --command diff /var/redis/6379/dump1.rdb | sort > dump1.txt
> rdb --command diff /var/redis/6379/dump2.rdb | sort > dump2.txt

執行差異程式：

> kdiff3 dump1.txt dump2.txt

要限制檔案的大小，可以使用--key選項過濾鍵

使用Redis協議：

使用protocol命令將RDB檔案轉換為redis協議流：

> rdb -c protocol /var/redis/6379/dump.rdb

*4
$4
HSET
$9
users:123
$9
firstname
$8
Sripathi

可以將輸出通過管道傳輸到netcat並重新匯入資料的子集。如果要將資料在兩個Redis例項上共享，則可以使用--key標誌選擇資料的子集，然後將輸出傳遞給正在執行的Redis例項並載入該資料。 當輸出列印協議時，--escape選項可以避免出現不可列印/控制字元。

預設情況下，如果過期時間在rdb檔案中存在，則會刪除過去所有過期的鍵。 如果不需要此行為，則使用-x/--no-expire選項將忽略所有關鍵的到期命令。使用-a/--amend-expire選項設定將來的到期時間，該選項會為已設定為到期的每個金鑰的到期時間增加整數秒，不會更改尚未設定有效期的key。

使用解析器（Python）： 

from rdbtools import RdbParser, RdbCallback
from rdbtools.encodehelpers import bytes_to_unicode

class MyCallback(RdbCallback):
    ''' Simple example to show how callback works.
        See RdbCallback for all available callback methods.
        See JsonCallback for a concrete example
    '''

    def __init__(self):
        super(MyCallback, self).__init__(string_escape=None)

    def encode_key(self, key):
        return bytes_to_unicode(key, self._escape, skip_printable=True)

    def encode_value(self, val):
        return bytes_to_unicode(val, self._escape)

    def set(self, key, value, expiry, info):
        print('%s = %s' % (self.encode_key(key), self.encode_value(value)))

    def hset(self, key, field, value):
        print('%s.%s = %s' % (self.encode_key(key), self.encode_key(field), self.encode_value(value)))

    def sadd(self, key, member):
        print('%s has {%s}' % (self.encode_key(key), self.encode_value(member)))

    def rpush(self, key, value):
        print('%s has [%s]' % (self.encode_key(key), self.encode_value(value)))

    def zadd(self, key, score, member):
        print('%s has {%s : %s}' % (str(key), str(member), str(score)))


callback = MyCallback()
parser = RdbParser(callback)
parser.parse('/var/redis/6379/dump.rdb')
View Code 

測試說明

一、rdb：根據要求分析這個RDB檔案

  1. 按json格式匯出rdb：rdb --command json dump.rdb 
    # rdb -c json dump.rdb 

[{
"list_c":["z","y","x"],
"zset_a":{"zjy":"10","zzz":"11","zjj":"12","zjq":"13"},
"hash_c":{"name":"zjy","age":"30","address":"hz"},
"set_a":["c","a","b"],
"list_a":["d","c","b","a"],
"string_b":"BINLOG_START_FILE_NAME, --binlog_start_file_name=BINLOG_START_FILE_NAME",
"string_c":"\u6211\u4eec\u7684\u5929\u7a7a",
"zset_c":{"mysql":"100","redis":"200","mongodb":"300"},
"string_a":"XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-147729771111aaasssss",
"set_b":["x","z","y"],
"hash_a":{"a":"a","b":"b","c":"c","d":"d"},
"list_b":["mongodb","redis","mysql"],
"zset_b":{"a":"1","b":"2","c":"3","d":"4"},
"set_c":["jll","zxx","zjy","zjj"],
"hash_b":{"x":"x","y":"y","z":"z"}}]
    View Code

  2. 匯出rdb中的keys：rdb -c justkeys dump.rdb

    # rdb -c justkeys dump.rdb|uniq

list_c
zset_a
hash_c
set_a
list_a
string_b
string_c
zset_c
string_a
set_b
hash_a
list_b
zset_b
set_c
hash_b
    View Code
  3. 匯出rdb中的values：rdb -c justkeyvals dump.rdb
    # rdb -c justkeyvals dump.rdb

list_c z,y,x,
zset_a zjy 10,zzz 11,zjj 12,zjq 13,
hash_c name zjy,age 30,address hz,
set_a c,a,b,
list_a d,c,b,a,
string_b BINLOG_START_FILE_NAME, --binlog_start_file_name=BINLOG_START_FILE_NAME,
string_c 我們的天空,
zset_c mysql 100,redis 200,mongodb 300,
string_a XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-147729771111aaasssss,
set_b x,z,y,
hash_a a a,b b,c c,d d,
list_b mongodb,redis,mysql,
zset_b a 1,b 2,c 3,d 4,
set_c jll,zxx,zjy,zjj,
    View Code
  4. 匯出rdb中keys的記憶體分析：rdb -c memory dump.rdb
    ]# rdb -c memory dump.rdb
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry

0,list,list_c,148,quicklist,3,1,
0,sortedset,zset_a,88,ziplist,4,3,
0,hash,hash_c,91,ziplist,3,8,
0,set,set_a,284,hashtable,3,1,
0,list,list_a,151,quicklist,4,1,
0,string,string_b,136,string,71,71,
0,string,string_c,80,string,15,15,
0,sortedset,zset_c,93,ziplist,3,7,
0,string,string_a,184,string,111,111,
0,set,set_b,284,hashtable,3,1,
0,hash,hash_a,83,ziplist,4,1,
0,list,list_b,162,quicklist,3,7,
0,sortedset,zset_b,79,ziplist,4,1,
0,set,set_c,364,hashtable,4,3,
0,hash,hash_b,77,ziplist,3,1,
    View Code
  5. 按RESP協議匯出RDB內容：rdb -c protocol dump.rdb
    -- RESP
# rdb -c protocol dump.rdb
*2
$6
SELECT
$1
0
*3
$5
RPUSH
$6
list_c
$1
z
*3
$5
RPUSH
$6
list_c
$1
y
*3
$5
RPUSH
$6
list_c
$1
x
*4
$4
ZADD
$6
zset_a
$2
...
...

-- 管道匯入
# rdb --command protocol dump.rdb | nc 192.168.163.134 7777
+OK
:1
:2
:3
:1
:1
:1
:1
:1
:1
:1
:1
:1
:1
:1
:2
:3
:4
+OK
+OK
:1
:1
:1
+OK
:1
:1
...
...
    View Code
  6. 分析RDB結果匯出到檔案：rdb -c memory dump.rdb -f ttt.csv
    # cat ttt.csv 
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,list,list_c,148,quicklist,3,1,
0,sortedset,zset_a,88,ziplist,4,3,
0,hash,hash_c,91,ziplist,3,8,
0,set,set_a,284,hashtable,3,1,
0,list,list_a,151,quicklist,4,1,
0,string,string_b,136,string,71,71,
0,string,string_c,80,string,15,15,
0,sortedset,zset_c,93,ziplist,3,7,
0,string,string_a,184,string,111,111,
0,set,set_b,284,hashtable,3,1,
0,hash,hash_a,83,ziplist,4,1,
0,list,list_b,162,quicklist,3,7,
0,sortedset,zset_b,79,ziplist,4,1,
0,set,set_c,364,hashtable,4,3,
0,hash,hash_b,77,ziplist,3,1,
    View Code
  7. 匯出指定資料庫的keys：rdb -c justkeyvals dump.rdb -n 0
    rdb -c justkeyvals dump.rdb -n 0

list_c z,y,x,
zset_a zjy 10,zzz 11,zjj 12,zjq 13,
hash_c name zjy,age 30,address hz,
set_a c,a,b,
list_a d,c,b,a,
string_b BINLOG_START_FILE_NAME, --binlog_start_file_name=BINLOG_START_FILE_NAME,
string_c 我們的天空,
zset_c mysql 100,redis 200,mongodb 300,
string_a XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-147729771111aaasssss,
set_b x,z,y,
hash_a a a,b b,c c,d d,
list_b mongodb,redis,mysql,
zset_b a 1,b 2,c 3,d 4,
set_c jll,zxx,zjy,zjj,
    View Code
  8. 匯出匹配（正則）的keys：rdb --command justkeyvals --key ".*set*" dump.rdb 
    -- 匯出包含set關鍵詞的key：
rdb -c justkeyvals -k ".*set*" dump.rdb -n 0

zset_a zjy 10,zzz 11,zjj 12,zjq 13,
set_a c,a,b,
zset_c mysql 100,redis 200,mongodb 300,
set_b x,z,y,
zset_b a 1,b 2,c 3,d 4,
    View Code
  9. 不匯出匹配（正則）的keys：rdb --command justkeyvals --not-key ".*set*" dump.rdb
    -- 匯出除有set字串之外的keys:
# rdb --command justkeyvals --not-key ".*set*" dump.rdb 

list_c z,y,x,
hash_c name zjy,age 30,address hz,
list_a d,c,b,a,
string_b BINLOG_START_FILE_NAME, --binlog_start_file_name=BINLOG_START_FILE_NAME,
string_c 我們的天空,
string_a XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-147729771111aaasssss,
hash_a a a,b b,c c,d d,
list_b mongodb,redis,mysql,
    View Code
  10. 匯出指定型別的keys：rdb --command json --type hash dump.rdb
    -- 只解析hash型別的keys：
# rdb --command json --type hash dump.rdb 
[{
"hash_c":{"name":"zjy","age":"30","address":"hz"},
"hash_a":{"a":"a","b":"b","c":"c","d":"d"},
"hash_b":{"x":"x","y":"y","z":"z"}}]
    View Code
  11. 匯出大於指定位元組的keys：rdb --command memory --bytes 128  dump.rdb 
    -- 指定大於等於128位元組的key：
# rdb --command memory --bytes 128  dump.rdb 
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,list,list_c,148,quicklist,3,1,
0,set,set_a,284,hashtable,3,1,
0,list,list_a,151,quicklist,4,1,
0,string,string_b,136,string,71,71,
0,string,string_a,184,string,111,111,
0,set,set_b,284,hashtable,3,1,
0,list,list_b,162,quicklist,3,7,
0,set,set_c,364,hashtable,4,3,
    View Code
  12.  匯出記憶體位元組排名前3個keys：rdb --command memory --largest 3 dump.rdb 
    -- 記憶體排名前3：
# rdb --command memory --largest 3 dump.rdb 
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,set,set_c,364,hashtable,4,3,
0,set,set_a,284,hashtable,3,1,
0,set,set_b,284,hashtable,3,1,
    View Code
  13. 匯出指定編碼轉義：rdb --command justkeyvals --escape raw dump.rdb
    # rdb --command justkeyvals --escape raw dump.rdb 

list_c z,y,x,
zset_a zjy 10,zzz 11,zjj 12,zjq 13,
hash_c name zjy,age 30,address hz,
set_a c,a,b,
list_a d,c,b,a,
string_b BINLOG_START_FILE_NAME, --binlog_start_file_name=BINLOG_START_FILE_NAME,
string_c 我們的天空,
zset_c mysql 100,redis 200,mongodb 300,
string_a XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-14772977XR-147729771111aaasssss,
set_b x,z,y,
hash_a a a,b b,c c,d d,
list_b mongodb,redis,mysql,
zset_b a 1,b 2,c 3,d 4,
set_c jll,zxx,zjy,zjj,
    View Code
  14. 匯出keys（過期keys除外）：rdb --command memory --no-expire dump.rdb 
  15. 匯出keys（給過期keys新增時間）：rdb --command memory --amend-expire 100 dump.rdb 

以上操作引數可以相互疊加使用，按照實際要求進行組合。並且可以匯出成csv檔案，匯入到資料庫裡進行聚合統計和監控。

二、redis-memory-for-key：檢視指定key的記憶體

檢視指定key的記憶體分析情況：redis-memory-for-key --server=192.168.163.134 --port=8379 f

-- 檢視該伺服器上key為f的記憶體情況：
# redis-memory-for-key --server=192.168.163.134 --port=8379 f
Key                f
Bytes                56
Type                string
View Code

三、redis-profiler：RDB分析生成html

-- RDB分析結果到html檔案
# redis-profiler dump.rdb -f pp.html
View Code

分析後的效果圖（一部分）如：

總結

通過本文對於rdbtools說明，能夠更好的解析RDB其內部的儲存資訊，從而方便給出優化和維護的建議，關於rdbtools更多的說明可以看官

相關推薦

Redis RDB 分析工具 rdbtools 說明

背景        Redis是基於記憶體的KV資料庫，記憶體作為儲存介質，關注其記憶體的使用情況是一個重要指標，解析其內部的儲存資訊是給出優化方法和維護的最基本要求。解析記憶體有二種方法：第一個是通過scan遍歷所有key，針對每個key進行分析（memory usa

安裝Redis記憶體分析工具rdbtools

一、安裝Python2.7 1、wget http://10.12.29.98:8090/tools/Python-2.7.11.tgz 2、ln -s /usr/local/python2.7/bin/python /usr/bin/python2.73、wget https://pypi.pyt

一個golang編寫的redis記憶體分析工具rma4go

redis 記憶體分析工具 rma4go 簡介 redis是一個很有名的記憶體型資料庫，這裡不做詳細介紹。而rma4go (redis memory analyzer for golang) 是一個redis的記憶體分析工具，這個工具的主要作用是針對執行時期的redis進行記憶體的分析，統計redis中ke

redis 記憶體分析工具 `rma4go`

redis 記憶體分析工具 rma4go redis是一個很有名的記憶體型資料庫，這裡不做詳細介紹。而rma4go (redis memory analyzer for golang) 是一個redis的記憶體分析工具，這個工具的主要作用是針對執行時期的redis進行記憶體的分析，統計r

Redis內存分析工具—redis-rdb-tools

redis redis-rdb-tools redis-rdb-tools是由Python寫的用來分析Redis的rdb快照文件用的工具，它可以把rdb快照文件生成json文件或者生成報表用來分析Redis的使用詳情、使用標準的diff工具比較兩個dump文件，總之是比較實用的工具，至於安裝可以

redis原始碼分析與思考（十八）——RDB持久化

    redis是一個鍵值對的資料庫伺服器，伺服器中包含著若干個非空的資料庫，每個非空資料庫裡又包含著若干個鍵值對。因為redis是一個基於記憶體存貯的資料庫，他將自己所存的資料存於記憶體中，如果不將這些資料及時的儲存在硬碟中，當電腦關機或者進行

redis audit記憶體分析工具在redis cluster中的應用

內容： redis audit工具是使用ruby語言編寫的指令碼，用來分析redis哪些key佔記憶體比較多，及佔用記憶體較多的key鍵的過期時間。在分析redis記憶體增長時非常有幫助。在分析時，為了防止對生產庫的影響，一般在從庫上執行。但是在使用redis aud

【redis原始碼分析】RDB持久化機制

        rdb是redis儲存記憶體資料到磁碟資料的其中一種方式(另一種是AOF)。Rdb的主要原理就是在某個時間點把記憶體中的所有資料的快照儲存一份到磁碟上。在條件達到時通過fork一個子程序把記憶體中的資料寫到一個臨時檔案中來實現儲存資料快照。在所有資料寫完後

Logwatch日誌分析工具

logwatch日誌監控介紹：Logwatch是使用 Perl 開發的一個日誌分析工具。Logwatch能夠對Linux 的日誌文件進行分析，並自動發送mail給相關處理人員，可定制需求。Logwatch的mail功能是借助宿主系統自帶的mail server 發郵件的，所以系統需安裝mail server

自定義redis序列化工具

我們 utils 字節數 pac keys ted ive onu 問題 redis一個優點就是可以將數據寫入到磁盤中。 我們知道寫入磁盤的數據實際上都是以字節（0101這樣的二進制數據）的形式寫入的。 這意味著如果我們要將一個對象寫入磁盤，就必須將這個對象序列化。 jav

11 個 Visual Studio 代碼性能分析工具

集成 line add 一個 能夠 max sta 過程 preview 軟件開發中的性能優化對程序猿來說是一個很重要的問題。一個小問題可能成為一個大的系統的瓶頸。可是對於程序猿來說。通過自身去優化代碼是十分困難的。幸運的是。有一些很棒的工具能夠幫助程序猿進行代碼分析

PHP性能追蹤及分析工具xhprof的安裝與使用

gin rewrite 添加 run 配置 symbol restart wal libpng https://segmentfault.com/a/1190000007288664(原文地址) 對於本地開發環境來說，進行性能分析xdebug是夠用了，但如果是線上環境的

mysql慢查詢分析工具和分析方法

mysql 慢查詢 分析工具 1.mysql慢查詢分析工具1.參考文檔：http://www.ttlsa.com/mysql/analyse-slow-query-log-using-anemometer/http://isadba.com/?p=655官方文檔：https://github.co

THULAC：一個高效的中文詞法分析工具包（z'z）

bsp 準確率 ext 效果 python3 nlp org 集成 的人 網址：http://thulac.thunlp.org/ THULAC（THU Lexical Analyzer for Chinese）由清華大學自然語言處理與社會人文計算實驗室研制推出的一套中文詞

scRNA-seq單細胞測序數據分析工具匯總

wid splay .cn session com strac data lib 匯總 本文總結自一篇綜述： Computational approaches for interpreting scRNA-seq data 單細胞分析分為兩個層次： cell level

python3.6中安裝numpy,pandas,scipy,scikit_learn,matplotlib等數據分析工具

scipy pandas python3.6中安裝numpy scikit_learn matplotlib等數據分析工具 運行環境：python3.6+windows64位1.安裝pip（1）如果在安裝python3.6時，你有勾選關於pip的選項，那麽在python3,6中就會帶有pi

pt-query-digest查詢日誌分析工具

tcp 技術 一段時間 ext 所在 mda pop json sdn 版權聲明：本文為博主原創文章，未經博主允許不得轉載。 工具簡介 pt-query-digest是用於分析mysql慢查詢的一個工具，它可以分析binlog、General log、slo

Windows系統內存分析工具的介紹

內存異常 -i yun 驅動 lac 大小 定位 微軟 泄露 ?Windows系統內存分析工具的介紹(進程管理器,資源管理器,性能監視器, VMMap, RamMap,PoolMon) 微軟官方提供多種工具來分析Windows 的內存使用情況，除了系統自帶的任務管理器

系統監測和性能分析工具

系統 監測 性能分析 作為一名linux運維工程師來說，對linux系統的日常管理，檢測和系統性能的分析是必不可少的。也有一些針對系統監測和性能分析的工具。咱們現在就來了解一下。 tcpdump命令： 網絡抓包工具，過濾數據包或者定制輸出格式：

[性能調優]PeopleSoft Trace 分析工具 - TraceMagic

介紹 幫助 studio 通道 windows 7 type 請求 gty gic PeopleSoft Trace 文件包含大量的信息，在前面文章講解過如何查看trace日誌文件，這邊文章介紹一個工具可以很好的分析trace日誌文件。 TraceMagic 是由orac