1. 程式人生 > >elasticsearch kibana logstash(ELK)的安裝集成應用

elasticsearch kibana logstash(ELK)的安裝集成應用

運行 基於 更改 put elk 執行 大量 啟動 www.

官網關於kibana的學習指導網址是:https://www.elastic.co/guide/en/kibana/current/index.html

  Kibana是一個開源的分析和可視化平臺,設計用於Elasticsearch。使用Kibana搜索、查看和與存儲在Elasticsearch索引中的數據交互。您可以輕松地執行高級數據分析並在各種圖表、表和映射中可視化數據。

  Kibana使理解大量數據變得容易。它簡單的、基於瀏覽器的界面使您能夠快速創建和共享動態儀表板,實時顯示對Elasticsearch查詢的更改。

kibana的安裝需要依賴elasticsearch,所以需要先安裝它,

技術分享圖片

rpm -ivh elasticsearch-6.4.1.rpm

然後查看狀態及安裝情況

技術分享圖片

修改配置文件

技術分享圖片

在在 Linux 環境中,elasticsearch 不允許以 root 權限來運行!所以需要創建一個非root用戶,以非root用戶來起es

技術分享圖片

rpm安裝包位於、usr/share/elasticsearch/下,應采用下列授權

技術分享圖片

剛開始訪問還是不行,然後一頓亂搗鼓,感覺也沒有增加什麽,最後突然刷新一下,好了,先用著,後面再整理一下

技術分享圖片

然後在test用戶上查看一下運行狀態

技術分享圖片

然後在通過test用戶起來停止服務測試外網連接,都有爆紅,但是都正常了

技術分享圖片

然後停掉test用戶的服務,切回到root下開啟服務,再次嘗試外網連接,多次刷新後,也是OK的,說明這一版本不需要通過用戶啟動服務也可以,只是連接虛擬機的時候網絡較差,所以,多刷新幾次。

技術分享圖片

外網訪問:

技術分享圖片

結論:這一版本不需要通過用戶啟動服務也可以,只是連接虛擬機的時候網絡較差,所以,多刷新幾次。

kibana的安裝(安裝需要Elasticsearch的支持,所以要先安裝Elasticsearch)

  我們直接根據官網來安裝,采用rpm的方式,簡單直接,https://www.elastic.co/guide/en/kibana/current/rpm.html

技術分享圖片

技術分享圖片

下載後,安裝,啟動,停止等

技術分享圖片

啟動,直接輸入網址192.168.135.129:5601不能訪問,關閉防火墻也不行,需要設置/etc/kibana/kibana.yml。如下放開一些配置,修改一些配置

技術分享圖片

技術分享圖片

然後登陸外網,多刷新幾次,本博主網絡比較慢,輸入網址http://192.168.135.129:5601

技術分享圖片

OK!

最後安裝logstash

技術分享圖片

創建配置文件

技術分享圖片

內容格式如下主要有輸入,過濾和輸出三部分:

技術分享圖片
 1 input {
 2 
 3     stdin {}
 4 }
 5 
 6 filter {
 7 
 8     grok {
 9 
10         patterns_dir => ["/home/keepgostudio/download/logstash-5.2.0/patterns"]
11 
12         match => {
13 
14             "message" => ["%{PARAMS_APACHELOG}", "%{NO_PARAMS_APACHELOG}"]
15 
16         }
17 
18         remove_field => ["host", "timestamp", "httpversion", "@version"]
19 
20     }
21 
22 
23     kv {
24 
25         source => "params"
26 
27         field_split => "&?"
28 
29     }
30 
31 
32     geoip {
33 
34         source => "ip"
35 
36         fields => ["country_name", "region_name", "city_name", "latitude", "longitude"]
37 
38         target => "location"
39 }
40 
41 output {
42 
43     elasticsearch {
44 
45         hosts => ["192.168.135.129:9200"]
46       
47         index => "logstash-test-%{type}-%{host}"
48         
49     }
50 
51 
52 }
View Code

運行

運行時采用的配置文件:input { stdin { } } output { stdout {} }

技術分享圖片

===========================================================分割線==========================================================================

用tar包的方式安裝並進行總結

一、依賴jdk8,下載安裝不多述

二、分別下載elasticsearch,logstash,kibana的相關tar包,直接復制地址wget 方式下載直接方便,沒有wget命令則需要先yum -y install wget,比如(地址在網絡資源的tar包上右鍵復制的鏈接)

  wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.1.tar.gz

  wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.1-linux-x86_64.tar.gz

  wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.1.tar.gz

三、先安裝elasticsearch,直接解壓tar即可,其他兩個一樣,解壓即可用,非常簡單。

  解壓命令 tar -zxvf tar包名字

  修改配置文件端口號和address

  直接在解壓包bin下root運行會報錯,然後根據網上創建test的用戶組,及test的用戶,然後授權,在運行,又是各種報錯,大概是內存不行什麽的,參考網上的進行排錯,

https://blog.csdn.net/liangzhao_jay/article/details/56840941

https://blog.csdn.net/seasion_pu/article/details/82262651

https://blog.csdn.net/feng12345zi/article/details/80367907

最終配置如下:

vi /etc/security/limits.conf

技術分享圖片

/etc/sysctl.conf

技術分享圖片

然後執行sysctl -p

在用戶下重啟elasticsearch

最後運行成功

技術分享圖片

打開另一個終端驗證

技術分享圖片

關閉防火墻,在外網驗證,OK!

技術分享圖片

四、解壓kibana後修改完配置的端口,address和elasticsearch地址後

直接運行 /bin/kibana即可

技術分享圖片

技術分享圖片

五、解壓logstash

在bin目錄下創建一個conf文件

示例的文件如下:

技術分享圖片

啟動:./logstash -f logstash.conf後

技術分享圖片

elasticsearch kibana logstash(ELK)的安裝集成應用