1. 程式人生 > >快速搭建ELK 叢集日誌收集工具Centos7 +Logstash +Elasticsearch+Kibana 環境

快速搭建ELK 叢集日誌收集工具Centos7 +Logstash +Elasticsearch+Kibana 環境

應用場景:
伺服器叢集,如果程式報錯,不懂從哪一臺伺服器上檢視日誌;想更加直接了當的看到日誌,什麼伺服器,什麼錯誤。
學到什麼
通過這篇文章可以傻瓜式的安裝程式,並且瞭解分散式應用日誌收集的場景。
環境
嶄新的一臺centos7虛擬機器;
介紹
介紹就算了, 搜得到這個的大概知道是幹嘛的,不是太瞭解的網上再看看。
開始吧
重要
對了logstash前提 要安裝jdk 環境java 環境

官網:點選進入

在這裡插入圖片描述

下載到分別下載三個程式:Logstash +Elasticsearch+Kibana
下載到目錄 /system (自定義)

  1 .wget  下載連線;
  2. tar -xzvf 解壓檔案;
  3. unzip 解壓檔案;

一, 安裝Logstash

在當前目錄
cd config
vim logstash.conf
"/logs/*.log 標識你要採集的目錄下的全部日誌,以.log 字尾名的日誌
hosts => “127.0.0.1:9200” 表示 要傳送到Elasticsearch 的地址與埠,就是Elasticsearch 預設埠為:9200

input {
     file {
        type => "log"
        path => "/logs/*.log"
        start_position => "beginning"
    }
}

output {
  stdout {
   codec => rubydebug { }
  }

  elasticsearch {
    hosts => "127.0.0.1:9200"
    index => "log-%{+YYYY.MM.dd}"
  }
}

更多logstash配置 點選檢視
logstash配置多個採集目錄建立多個索引 點選檢視1 點選檢視2
啟動Logstash :

cd bin

執行:

./logstash -f ../config/logstash.conf

會慢一點出現資訊,稍等,可以切換一個ssh視窗執行下一步,理想的介面:
在這裡插入圖片描述
恭喜,logstash 已經完成

安裝:Elasticsearch

這個其實也是ELK中的核心,啟動的時候一定要注意,因為es不可以進行root賬戶啟動,所以你還需要開啟一個elsearch賬戶。
執行:

groupadd elsearch                   #新建elsearch組
useradd elsearch -g elsearch -p elasticsearch  #新建一個elsearch使用者
chown -R elsearch:elsearch  ./elasticsearch    #指定elasticsearch所屬elsearch組
su elsearch

啟動:

cd bin/
./elasticsearch

理想狀態:
在這裡插入圖片描述
啟動的時候可能會報錯
一般是報沒有許可權, chown -R elsearch:elsearch (你安裝Elasticsearch 目錄名字pwd) 就解決了

三 。Kibana 安裝

cd config
vim kibana.yml

第一行新增:

elasticsearch.url: "http://localhost:9200"
server.host: 0.0.0.0

即可,你沒有看錯,就可以了。

cd bin
./kibana

理想的狀態:
在這裡插入圖片描述

以上三個開啟之後:
就來測試了

echo "hello liaosp" >> /logs/test.log

在logstash 介面理想的介面:
在這裡插入圖片描述

怎麼在es裡面判斷有沒有收錄logstash 發過來的訊息呢?

curl http://127.0.0.1:9200/_cat/indices?v

理想介面:
在這裡插入圖片描述
可以看到已經收錄了logstash 發過來的資訊。

最重要的是如何在kibana介面上看到資訊。
我的是虛擬機器,所以要配置一下vm:
在這裡插入圖片描述

電腦瀏覽器輸入:127.0.0.2:5656 即可看到kibana
具體虛擬機器訪問kibana 點選檢視

配置索引:
在這裡插入圖片描述
輸入 log*
在這裡插入圖片描述
點選下一步

在主介面選擇 log* 的索引即可看到剛剛的hello liaosp

在這裡插入圖片描述

廖聖平部落格原創,整理
elasticsearch執行後外部訪問不到問題訪問虛擬機器裡面的服務,訪問不到
php使用es做全文檢索:點選檢視點選檢視2
elk 後臺執行:點選檢視
本部落格:elk 開機自啟動 點選跳轉 推薦!!
Smile瀟灑Tel部落格:elk 開機自啟動 點選檢視

參考:
elastic 官網
一線碼農部落格