1. 程式人生 > >es redis logstash 日誌收集系統排錯

es redis logstash 日誌收集系統排錯

bsp pos keys allow light 通過命令 bash 系統排錯 man

用logstash收集日誌並發送到redis,然後通過logstash取redis數據寫入到es集群,最近kibana顯示日誌總是中斷,日誌收集不過來,客戶端重啟發現報錯:

Failed to send event to Redis
CommandError: OOM command not allowed when used memory > maxmemory.>

根據報錯推斷redis滿了,在客戶端清空redis 重啟收集端的logstash 可以重新寫入數據,由此判斷有進程不斷寫入redis而且沒有被清空

然後通過命令查看redis:

redis-cli -h 10.28.100.106 -p 6379 --bigkeys

發現了最大的一個key,而這個key是最近在kibana刪除的,所以logstash不會取這個值,而收集端沒有關閉發送進程,導致一直在寫入redis,redis寫滿其余的收集端就寫入不了,出現中斷情況

es redis logstash 日誌收集系統排錯