1. 程式人生 > >目前最新的6.5.4 ELK日誌收集全家桶 搭建 步驟:

目前最新的6.5.4 ELK日誌收集全家桶 搭建 步驟:

全家桶 官網:https://www.elastic.co/cn/downloads/kibana
流程圖:
ELK框架流程圖

1.1 安裝環境搭建
本文中介紹的ELK平臺搭建需要用到如下六種程式,出於相容性考慮,程式附上版本號。
在這裡插入圖片描述
JDK 1.8
在這裡插入圖片描述

1.2. elasticsearch 的安裝與配置
1.2.1. ES 基本環境搭建

解壓檔案 elasticsearch-6.5.4.tar.gz
tar -zxvf elasticsearch-6.5.4.tar.gz -C /opt/soft/elasticsearch
建立 data、 logs 資料夾
在這裡插入圖片描述
B) 選擇ES存放日誌檔案和資料檔案磁碟,需要尋找大磁碟 一般不少於1.5T
找到ES的配置檔案:
/opt/soft/elasticsearch/elasticsearch-6.5.4/config/ elasticsearch.yml
在這裡插入圖片描述

cluster.name: localhost-search-cluster
node.name: localhost #同hostname cat /etc/hostname
path.data: /opt/soft/elasticsearch/data/
path.logs: /opt/soft/elasticsearch/logs/
network.host: 10.57.130.201 #本機IP地址
http.port: 9200
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
http.cors.enabled: true
http.cors.allow-origin: “*”

外掛:head的安裝 參照這篇:
https://www.cnblogs.com/lizichao1991/p/7809156.html

1.2.3. ES 使用者建立
es 在linux 系統環境下比較特殊,需要建立專門的使用者名稱去啟動,否則啟動報錯,故需要建立單獨的es 使用者
A) Linux 下建立使用者
useradd elasticsearch

B) 給使用者增加相應目錄訪問許可權
允許elasticsearch使用者讀取es資料目錄 (-R 是遞迴遍歷子目錄)
chown elasticsearch.elasticsearch -R /opt/soft/elasticsearch/
C) 切換使用者
su elasticsearch

1.2.4. ES 啟動和驗證
上述步驟OK,即可啟動es
需要切換到 es 使用者下
su elasticsearch
啟動es
./bin/elasticsearch -d
驗證啟動結果
在這裡插入圖片描述

瀏覽器訪問:
在這裡插入圖片描述
1.3. kibana的安裝與配置
1.3.1. kibana基本環境搭建

解壓壓縮包 kibana-6.5.4-linux-x86_64.tar.gz
tar -zxvf kibana-6.5.4-linux-x86_64.tar.gz -C /opt/soft/kibana
B) 配置 kibana 引數
預設為配置都未開啟,我們需要開啟需要用到的引數
/opt/soft/kibana/kibana-6.5.4-linux-x86_64/config/kibana.yml
在這裡插入圖片描述

1.3.2. kibana啟動和驗證

A) 啟動 kibana
啟動時 順便將啟動資訊輸出到 /dev/null 黑洞中
nohup kibana-6.5.4-linux-x86_64/bin/kibana > /dev/null 2>&1 &
B) 驗證啟動:
在這裡插入圖片描述
C) 終端驗證
瀏覽器訪問 http://10.57.130.201:5601

在這裡插入圖片描述
1.4. logstash的安裝與配置
1.4.1. logstash基本環境搭建

A) 解壓 logstash-6.5.4.zip
unzip logstash-6.5.4.zip
B) 配置 logstash
B1)建立配置檔案目錄 conf/ ,也可不建立放在系統預設配置目錄下
mkdir conf
B2) 建立配置檔案

test.conf
在這裡插入圖片描述

B3) 搭建最簡單日誌收集系統

產生日誌的指令碼:
在這裡插入圖片描述
不作任何處理的配置
在這裡插入圖片描述
1.4.2. Logstash啟動和驗證
A) 啟動logstatsh
根據不同配置檔案啟動不同例項
nohup bin/logstash -f conf/test.conf --config.reload.automatic >& /dev/null &
B) 驗證啟動

在這裡插入圖片描述

然後去kibana去 建立匹配的索引:

在這裡插入圖片描述

通過Filebeat去收集日誌到logstash 然後過濾:
這時候logstash的配置為 :

在這裡插入圖片描述

1.5. filebeat的安裝與配置
1.5.1. filebeat基本環境搭建

A) 在服務端解壓 filebeat-6.5.4-linux-x86_64.tar.gz
B) 修改 config 中的 filebeat.yml 需要開啟一些配置
在這裡插入圖片描述
在這裡插入圖片描述

過濾的型別要對上:syslog;

1.5.2. filebeat啟動和驗證
A) filebeat的啟動
啟動命令
nohup ./filebeat -e -c filebeat.yml >&/dev/null &
B) filebeat的啟動驗證
kibana 展示出來:
在這裡插入圖片描述

僅僅作為參考:如有不懂請留言,必會解答;