2. 程式人生 > >記一次線上Zabbix對Redis監控實錄

記一次線上Zabbix對Redis監控實錄

阿新 • • 發佈：2018-11-22

前言：Redis作為快取伺服器我想大家都比較的熟悉，那麼，如果想要更好的維護和監控，那麼我們會對其redis伺服器統一監控起來，如何監控呢？如果在生產環境一臺伺服器部署多個redis，這樣就會出現多個埠，如何實施有效的監控呢？下面看下多給出的實錄~

 [redis-agent端]

主要用於接受redis效能引數

# vim  /etc/zabbix/zabbix_agentd.d/redis_status 

#!/bin/bash
REDISCLI="/usr/local/redis/bin/redis-cli"
HOST="127.0.0.1"
PORT=($(sudo netstat -tpln | awk -F "
 
[ :]+" '/redis/ && /0.0.0.0/ {print $5}'))
PASS="xxxxxxx"

if [[ $# == 1 ]];then
    case $1 in
        version)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "redis_version" | awk -F':' '{print $2}'`
            echo $result
        ;;
        uptime)
            result
 
=`$REDISCLI -h $HOST -a $PASS -p $PORT info server | grep -w "uptime_in_seconds" | awk -F':' '{print $2}'`
            echo $result
        ;;
        connected_clients)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info clients | grep -w "connected_clients" | awk -F':' '{print $2}'`
            echo $result
        ;;
        blocked_clients)
            result
 
=`$REDISCLI -h $HOST -a $PASS -p $PORT info clients | grep -w "blocked_clients" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_memory)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_memory_rss)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_rss" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_memory_peak)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_peak" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_memory_lua)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info memory | grep -w "used_memory_lua" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_cpu_sys)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_sys" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_cpu_user)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_user" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_cpu_sys_children)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_sys_children" | awk -F':' '{print $2}'`
            echo $result
        ;;
        used_cpu_user_children)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info cpu | grep -w "used_cpu_user_children" | awk -F':' '{print $2}'`
            echo $result
        ;;
        rdb_last_bgsave_status)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "rdb_last_bgsave_status" | awk -F':' '{print $2}' | grep -c ok`
            echo $result
        ;;
        aof_last_bgrewrite_status)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "aof_last_bgrewrite_status" | awk -F':' '{print $2}' | grep -c ok`
            echo $result
        ;;
        aof_last_write_status)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info Persistence | grep -w "aof_last_write_status" | awk -F':' '{print $2}' | grep -c ok`
            echo $result
        ;;
        *)
            echo -e "\033[33mUsage: $0 {connected_clients|blocked_clients|used_memory|used_memory_rss|used_memory_peak|used_memory_lua|used_cpu_sys|used_cpu_user|used_cpu_sys_children|used_cpu_user_children|rdb_last_bgsave_status|aof_last_bgrewrite_status|aof_last_write_status}\033[0m"
        ;;
    esac
elif [[ $# == 2 ]];then
    case $2 in
        keys)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "keys" | awk -F'=|,' '{print $2}'`
            echo $result
        ;;
        expires)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "keys" | awk -F'=|,' '{print $4}'`
            echo $result
        ;;
        avg_ttl)
            result=`$REDISCLI -h $HOST -a $PASS -p $PORT info | grep -w "$1" | grep -w "avg_ttl" | awk -F'=|,' '{print $6}'`
            echo $result
        ;;
        *)
            echo -e "\033[33mUsage: $0 {db0 keys|db0 expires|db0 avg_ttl}\033[0m" 
        ;;
    esac
fi

 

# chmod 755 -R /etc/zabbix/zabbix_agentd.d/redis_status 

[[email protected] ~]# vim /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf

UserParameter=Redis.Info[*],/etc/zabbix/zabbix_agentd.d/redis_status $1 $2
UserParameter=Redus.Status,/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p 6379 ping | grep -c PONG

[[email protected] ~]# vim /etc/sudoers

Defaults:zabbix !requiretty
zabbix ALL=(root) NOPASSWD:/bin/netstat

zabbix-server端測試key值，下面所能監控redis效能引數

監控指標詳解：

connected_clients    #已連線客戶端的數量

blocked_clients       #正在等待阻塞命令的客戶端數量

used_memory    #由redis分配器分配的記憶體總量

used_memory_rss    #作業系統角度，redis返回的已分配的記憶體總量

used_memory_peak    #redis記憶體消耗峰值

used_memory_lua       #引擎所使用的記憶體大小

used_cpu_sys          #redis伺服器消耗的系統CPU

used_cpu_user        #伺服器消耗的使用者CPU

used_cpu_sys_children    #redis後臺程序消耗的系統cpu

used_cpu_user_children   #redis後臺程序消耗的使用者cpu

rdb_last_bgsave_status       #關係資料庫最後的bgsave狀態

aof_last_bgrewrite_status    #上次重寫狀態

aof_last_write_status       #上次寫入的狀態

[[email protected] ~]# /usr/local/zabbix/bin/zabbix_get -s 192.168.2.158 -k Redis.Info[used_memory]   #隨機選填一個性能引數，如redis使用者記憶體使用情況，即可獲取數值
826528，

zabbix-web端定義監控模板即可（在這裡，具體監控模板就省略哈，如果想獲取的話，可以新增部落格QQ群號，在群中即可找我獲取即可）

 

Ps：下圖是我對redis的所有該主機監控指標都進行堆疊整合~

【案例需求二】

近期，由於新上線一批redis重要業務以及叢集，需要將redis埠統一監控起來，那麼需要監控埠哪些狀態呢？這裡可以監控，埠的連線數，執行時間等等，

我們都知道，redis可能會做多例項，每個機器上面的redis都存在這不同埠，這裡可以編寫自動發現redis埠，隨後進行監控，在這裡，我給出來指令碼

shell指令碼獲取redis埠

#!/bin/bash
#Script_name zabbix_discovery_redis.sh 
#Auto bxy 2018年11月20日12:04:10
redis() {
            port=($(sudo netstat -tpln | awk -F "[ :]+" '/redis/ && /0.0.0.0/ {print $5}'))
            printf '{\n'
            printf '\t"data":[\n'
               for key in ${!port[@]}
                   do
                       if [[ "${#port[@]}" -gt 1 && "${key}" -ne "$((${#port[@]}-1))" ]];then
              socket=`ps aux|grep ${port[${key}]}|grep -v grep|awk -F '=' '{print $10}'|cut -d ' ' -f 1`
                          printf '\t {\n'
                          printf "\t\t\t\"{#REDISPORT}\":\"${port[${key}]}\"},\n"
                     else [[ "${key}" -eq "((${#port[@]}-1))" ]]
              socket=`ps aux|grep ${port[${key}]}|grep -v grep|awk -F '=' '{print $10}'|cut -d ' ' -f 1`
                          printf '\t {\n'
                          printf "\t\t\t\"{#REDISPORT}\":\"${port[${key}]}\"}\n"
                       fi
               done
                          printf '\t ]\n'
                          printf '}\n'
}
$1

python指令碼獲取埠

[[email protected]salve alterscripts]# cat redis_discovery.py 
#!/usr/bin/env python
import os
import  json 
t=os.popen("""sudo netstat -tlpn |grep redis|grep 0.0.0.0|awk '{print $4}'|awk -F: '{print $2}' """)
ports = []
for port in  t.readlines():
        r = os.path.basename(port.strip())
        ports += [{'{#REDISPORT}':r}]
print json.dumps({'data':ports},sort_keys=True,indent=4,separators=(',',':'))

[[email protected] ~]# chmod 755 /etc/zabbix/zabbix_agentd.d/zabbix_discovery_redis.sh 

[[email protected] ~]# vim  /etc/zabbix/zabbix_agentd.d/userparameter_redis.conf   #這個是shell指令碼寫入的key
UserParameter=redis.discovery[*],/etc/zabbix/zabbix_agentd.d/zabbix_discovery_redis.sh $1
UserParameter=redis_stats[*],(echo info; sleep 1) | telnet 192.168.37.137 $1 2>&1 |grep $2|cut -d : -f2

允許zabbix使用者無密碼執行netstat

[[email protected] ~]# vim /etc/sudoers  否則會無法檢測埠

Defaults:zabbix !requiretty
zabbix ALL=(root) NOPASSWD:/bin/netstat

Ps:在這裡我們還是用python獲取redis埠號吧，這樣更加靈活，輕便~

[[email protected] ~]# chmod 755 /etc/zabbix/alterscripts/redis_discovery.py    #py指令碼呢寫完之後，授權即可，直接執行，驗證埠是否正常獲取~，如果有多個埠，同樣全部收集~

[[email protected] ~]# vim /etc/zabbix/zabbix_agentd.d/redis_discovery_port.conf

UserParameter=redis.discovery,/usr/bin/python /etc/zabbix/alterscripts/redis_discovery.py
UserParameter=redis_stats[*],/usr/local/redis/bin/redis-cli -p $1 -h 127.0.0.1 info |grep -w $2|cut -d : -f2

最後在zabbix server端驗證是夠能獲取到redis埠~顯然是沒問題的

Ps：如果在server端獲取key值時，出現以下錯誤，那是因為Item由於各種原因返回時間會比較長，導致的，修改agent端timeout引數即可，如下所示

Timeout=8

另外還需要在sudo配置檔案中修改一下引數,免密sudo獲取redis密碼驗證

Defaults !requiretty

zabbix ALL=(ALL) NOPASSWD: ALL

 到此我們server端測試資料無問題。接下來在web介面配置了

 

觸發器型別新增

ok！打完收工~

 

相關推薦

記一次線上Zabbix對Redis監控實錄

前言：Redis作為快取伺服器我想大家都比較的熟悉，那麼，如果想要更好的維護和監控，那麼我們會對其redis伺服器統一監控起來，如何監控呢？如果在生產環境一臺伺服器部署多個redis，這樣就會出現多個埠，如何實施有效的監控呢？下面看下多給出的實錄~  [redis-agent端] 主要用於接受r

redis配置優化(記一次線上redis問題排查)

一、問題描述 在通過redis快取進行了一系列的介面效能優化後,大部分介面返回在1ms~200ms間,這都是redis的功勞,但隨著介面redis快取越來越多,新的問題產生了,從redis取資料竟然用了5s = =,通過觀察日誌,並不是每次取資料都是5s,

記一次不成功的redis訪問

redis spring-data linux window 在虛擬機上面安裝redis，在本機上面使用spring-data-redis寫一個存取kv的單元測試類。本來是一個很簡單的demo實驗，結果還是趟了不少坑。之前都是連接測試別人安裝好的redis，或者自己安裝的redis使用redi

記一次線上gc調優的過程

aspect hash 接下來 JD lac abs rac 數據庫 %x 近期公司運營同學經常表示線上我們一個後臺管理系統運行特別慢，而且經常出現504超時的情況。對於這種情況我們本能的認為可能是代碼有性能問題，可能有死循環或者是數據庫調用次數過多導致接口運

記一次線上MySQL數據庫死鎖問題

重復 成功 中一 主鍵 adl 一次 his TE BE 最近線上項目報了一個MySQL死鎖（DealLock）錯誤，雖說對業務上是沒有什麽影響的，由於自己對數據庫鎖這塊了解不是很多，之前也沒怎麽的在線上碰到過。這次剛好遇到了，便在此記錄一下。 出現

記一次線上Java程序導致服務器CPU占用率過高的問題排除過程

tasks all lob jstat rip 進行 runable tails 分享圖片 https://blog.csdn.net/u013991521/article/details/52781423 1、故障現象 客服同事反饋平臺系統運行緩慢，網頁卡頓嚴重，多次重啟

記一次使用Jackson對Java物件序列化和反序列化的踩坑經歷

背景大概是這樣，專案中的兩個服務A和B依賴了同一個common包的Java類，A對該類json序列化，而B對其反序列化。在一次common包升級過程中，這個Java類中增加了一個屬性，由於B其實用不到這個屬性，就只把A給升級打包了，這就導致B在反序列化時出現了一個異常：com.fasterxml.j

記一次線上檔案數開啟過多的問題

問題 線上服務忽然宕機，導致應用全部異常退出拒絕服務，運維同學反饋線上app無法登入了。 查詢原因 直覺告訴我，又是資料庫掛了（之前有過先例），已經做好了最壞的打算，準備去kill process了，開啟阿里雲後臺，結果發現數據庫一切正常。 然後去看應用服務的監

記一次線上請求緩慢問題處理

9月的某天晚上，接到通知，線上環境請求非常慢，頁面開啟要1分鐘，遂按照系統引數，資料庫，應用，web伺服器狀態逐步排查的步驟，最終定位到問題並得以解決，此處做個檢查流程梳理，供大家參考。 問題描述：正式環境請求響應異常慢，頁面開啟需要1分鐘左右時間等。 第一步 系統引數檢

記一次 centos7.4 上 redis的部署

二話不說，直接上官網連結下載  https://redis.io/downloadInstallation裡告訴我們了去哪下載wget http://download.redis.io/releases/redis-4.0.9.tar.gz下載完成以後進行解壓tar xzf

記一次線上問題的排查過程

問題描述 前不久運維在例行釋出線上CS系統的時候，發現在服務啟動的過程中，後臺一直在報如下錯誤，同時導致使用者頁面訪問異常 2017-10-10 18:28:51,077 [ERROR] org.springframework.amqp.rabbit.l

記一次線上問題排查

　　這周在上線一個功能的時候，碰到了“fail to respond”問題(上一篇文章)，問題雖然解決了，但是解決的過程很痛苦，走了很多彎路，我覺得有必要記錄下來。 　　情景還原：專案A（公司內部專案），專案A裡面有呼叫專案B的介面（專案B是公司接入的第三方專案，類似於ra

記一次線上快取問題

今天上線專案時，檢視一個軟體列表，我的接口裡是findAll,可是軟體列表裡沒有type欄位沒有出現，後來檢查發現 是線下SoftModel裡type欄位沒更新過來，清完線下表快取，並用gii重新生成了下SoftModel，然後再次上線。 再次檢視線上該軟體列表，還是沒有ty

記一次線上應用連線池滿的處理

記一次線上應用dubbo-claim連線池滿的處理 首先看到dubbo-claim應用突然大面積報錯，基本反饋是凍結預算出問題了，看了看凍結預算的程式碼，發現寫的非常複雜，果斷放棄看程式碼來排查問題。 Could not open jdbc connec

記一次線上mysql主從架構異常的恢復經歷

fault ase 主從數據庫 sta start 1-1 href show color 前提：之前一位同事負責的一位客戶，因後期轉到devops小組。所以將此用戶交接給我，在後期發現有一套數據庫主從環境，從庫已經無法正常使用。查看slave 狀態為： 其中:Master

一次線上zabbix server 掛掉的思考

grep 產生 默認值 open int 你是 not run 如果 調用 突然間發現zabbix 掛了，咋發現的呢？報警的世界突然安靜了，你就會覺得不妥了。這是運維人員的通病，有報警嫌煩，沒報警心裏會不安。1，圖形界面上確實顯示zabbix server is not r

記一次線上 OOM 和效能優化

大家好，我是鴨血粉絲（大家會親切的喊我 「阿粉」），是一位喜歡吃鴨血粉絲的程式設計師，回想起之前線上出現 OOM 的場景，畢竟當時是第一次遇到這麼 緊髒 的大事，要好好記錄下來。 1 事情回顧 在某次週五，通過 Grafana 監控，發現線上環境突然出現CPU和記憶體飆升的情況： 但是看到網路輸出和輸入流

記一次線上問題 → 事務去哪了

開心一刻 　　小羊：哎呀，前面有奶喝 　　狗媽：這誰呀，走開 　　小羊：我就喝點，能怎麼的嘛 　　狗媽：你喝就喝，咋還上頭了呢？ 　　小羊：真香！ 　　狗媽：這羊犢子，真硬核！ 問題背景 　　一天早上，樓主興致勃勃的逛著園子的時候，右下角的 QQ 頭像嘀嘀嘀的閃了起來，定睛一看，哎我去，腎

記一次線上商城系統高併發的優化

    對於線上系統調優，它本身是個技術活，不僅需要很強的技術實戰能力，很強的問題定位，問題識別，問題排查能力，還需要很豐富的調優能力。     本篇文章從實戰角度，從問題識別，問題定位，問題分析，提出解決方案，實施解決方案，監控調優後的解決方案和調優後的觀察等角度來與

記一次線上服務CPU 100%的處理過程

## 告警 正在開會，突然釘釘告警聲響個不停，同時市場人員反饋客戶在投訴系統登不進了，報504錯誤。檢視釘釘上的告警資訊，幾臺業務伺服器節點全部報CPU超過告警閾值，達100%。 趕緊從會上下來，SSH登入伺服器，使用 `top` 命令檢視，幾個Java程序CPU佔用達到180%，190%，這幾個Java