1. 程式人生 > >elasticsearch+logstash+kibana+redis

elasticsearch+logstash+kibana+redis

elk redis

拓撲圖:

技術分享圖片


根據拓撲圖精簡一下這個實驗:

一臺web server + logstash (真正生產可能是若幹臺) ===>192.168.1.13

一臺redis(生產下一般會是主備,消息隊列的作用) ===>192.168.1.12

一臺logstash server (整合數據流的作用) ===>192.168.1.11

一臺elasticsearch+kibana(生產中一般會是ES集群) ===>192.168.1.10


安裝ELK事前需要安裝JDK這裏不在演示




首先從redis這臺服務器下手吧

yum install -y redis

關於redis的具體操作以後的文章會講到

vim /etc/redis.conf
修改
bind 0.0.0.0
保存退出,啟動
/etc/init.d/redis start

ss -tanl查看redis啟動端口6379

web server (192.168.1.13):

yum install -y httpd
/etc/init.d/httpd start
ss -tanl 查看一下80端口是否啟動

安裝logstash

rpm -ivh logstash-1.5.4-1.noarch.rpm

vim /etc/logstash/conf.d/full.conf #full.conf這個你可以隨意起名字
input { 
        file {
                path => "/var/log/httpd/access_log"
                type => "Apache"
                start_position => "beginning"
        }
}

output {
        redis {
                port => "6379"
                host => ["192.168.1.12"]
                data_type => "list"
                key => "logstash-%{type}"
        }
}

保存退出!

測試一下語法有沒有錯誤:
[root@linux-node4 ~]# logstash -f /etc/logstash/conf.d/full.conf --configtest
Configuration OK

沒有錯誤可以啟動了
[root@linux-node4 ~]# logstash -f /etc/logstash/conf.d/full.conf
Logstash startup completed

至此,我們可以測試一下,是否把收集到的日誌數據發送到了redis。

#redis-cli
127.0.0.1:6379> LLEN logstash-Apache
(integer) 30
由此說明已經產生數據到redis了。



下班了。。。明天上班在繼續寫。。。

elasticsearch+logstash+kibana+redis