【ELK】Centos7 安裝 ELK 7.6.2 和 UI 管理介面以及測試例子
阿新 • • 發佈：2020-10-31
# 1. 初始化環境
## 1.0 初始化環境官網參考
## 1.1 架構
| 主機 ip | hostname | 安裝的服務 |
| ------ | --------- | -------- |
| 192.168.110.245 | node01 | es、kibana |
| 192.168.110.246 | node02 | es、logstash、filebeat、auditbeat |
| 192.168.110.247 | node03 | es、filebeat、auditbeat |
## 1.2 配置 hosts
```shell
cat << EOF >> /etc/hosts
192.168.110.245 node01
192.168.110.246 node02
192.168.110.247 node03
EOF
```
## 1.3 修改 hostname
```shell
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
```
## 1.4 時間同步(聯網狀態)
```shell
yum -y install ntpdate
/bin/echo "* */1 * * * /usr/sbin/ntpdate pool.ntp.org > /dev/null 2>&1" >> /var/spool/cron/root
```
## 1.5 關閉 selinux
```shell
setenforce 0 #臨時，馬上生效
sed -i 's/enforcing/disabled/' /etc/selinux/config #永久，重啟生效
```
## 1.6 關閉防火牆
```shell
iptables -F
systemctl stop firewalld
systemctl disable firewalld
```
## 1.7 記憶體解鎖和檔案限制
```shell
#臨時修改，重啟失效
ulimit -n 65535
#永久修改，重啟生效
cat << EOF >>/etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
* soft nofile 65535
* hard nofile 65535
EOF
```
## 1.8 關閉 swap 快取
```shell
swapoff -a #臨時
sed -i '/swap/s/^/#/' /etc/fstab #永久
```
## 1.9 設定 es 使用者記憶體限制大小
```shell
sysctl -w vm.max_map_count=262144
echo 'vm.max_map_count=262144' >> /etc/sysctl.conf
```
## 1.10 不能 root 使用者啟動
## 1.11 java版本
> es 7.*之後的版本不需要安裝環境 java，預設自帶 jdk 環境，但是其他的服務還是需要 jdk 環境的，所以還是要統一安裝，另外 jdk 版本要為 8 或者 11，我這裡預設 8 就好了，直接 yum 安裝
```shell
yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel
```
# 2. 安裝 es 叢集
## 2.1 官網下載
```
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.rpm
wget https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-7.6.2-x86_64.rpm
```
## 2.2 yum 直接安裝則可
```shell
yum -y install elasticsearch
yum -y install kibana
yum -y install filebeat
yum -y install auditbeat
```
## 2.3 es 配置修改，3 臺機都要，其中 node.name 配置不同，其他一樣
```
cd /etc/elasticsearch/ && cp elasticsearch.yml elasticsearch.yml.orig
cat << EOF > elasticsearch.yml
cluster.name: es-cluster
node.name: node01
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
bootstrap.memory_lock: true
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["192.168.110.245", "192.168.110.246", "192.168.110.247"]
cluster.initial_master_nodes: ["node01"]
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
xpack.security.audit.enabled: true
xpack.security.audit.logfile.events.emit_request_body: true
EOF
#node02: sed -i 's#node\.name\:\ node01#node.name: node02#' /etc/elasticsearch/elasticsearch.yml
#node03: sed -i 's#node\.name\:\ node01#node.name: node03#' /etc/elasticsearch/elasticsearch.yml
```
```
解釋說明：
cluster.name 叢集名字，同一個叢集中使用相同名字，單機就隨意
node.name: es-cluster 節點名字，每臺機都不一樣
bootstrap.memory_lock: true 將程序地址所在 RAM 空間中，以防止 es 記憶體被換出，交換對效能，節點穩定性非常不利，應不惜一切代價避免交換。它可能導致垃圾收集持續數分鐘而不是毫秒，並且可能導致節點響應緩慢甚至斷開與群集的連線。在彈性分散式系統中，讓作業系統殺死該節點更為有效。
1、如果你的機器已經全域性進位制swap，那麼不開啟這個配置也無所謂。詳情檢視 1.8 配置
2、或者配置了/etc/sysctl.conf 的 vm.swappiness = 1 ，所以也不需要配置 true
3、如果以上兩個你都沒做，那你還是乖乖把 true 配置上。我這裡都做了，也不影響。
network.host: 0.0.0.0 需要外網 ip 可以這麼配置，不然配置內網也行
http.port: 9200 埠號，不配置的話預設9200
discovery.seed_hosts: ["192.168.110.245", "192.168.110.246", "192.168.110.247"] 這裡可以不指定，不過避免 es 迴環查詢，直接指定方便
cluster.initial_master_nodes: ["node-1"] 首次啟動 es 叢集指定 master 機器，之後重啟和新增新伺服器都無需更改
xpack.security.enabled: true 啟用 xpack 安全模組
xpack.security.transport.ssl.enabled: true TLS 功能，可對通訊進行加密
```
## 2.4 如果是 yum 安裝的方式需要修改es的啟動檔案
{{< link "https://www.elastic.co/guide/en/elasticsearch/reference/current/setting-system-settings.html#systemd" "參考地址" > /etc/supervisord.d/ElasticHD.ini
[program:ElasticHD]
command=/usr/local/bin/ElasticHD -p 0.0.0.0:9800
autostart=true
autorestart=true
user=elasticsearch
redirect_stderr=true
stdout_logfile=/tmp/ElasticHD.log
EOF
supervisorctl update
supervisorctl reload
supervisorctl status
```
> docker 安裝：
```
docker run -p 9800:9800 -d --link elasticsearch:demo containerize/elastichd
```
web端訪問結果：http://192.168.110.245:9800/
## 3.3 安裝 elasticsearch -HQ
> 普通安裝：
(1)安裝python3.6
```
yum install python3 python3-pip python3-devel -y
```
(2) 安裝 elasticsearch-HQ
```
cd /usr/local/src/
wget -O elasticsearch-HQ.zip https://github.com/ElasticHQ/elasticsearch-HQ/archive/master.zip
unzip elasticsearch-HQ.zip
mv elasticsearch-HQ-master /usr/local/elasticsearch-HQ
cd /usr/local/elasticsearch-HQ
pip3 install -r requirements.txt
cat < /etc/supervisord.d/ElasticHQ.ini
[program:ElasticHQ]
command=/usr/bin/python3 /usr/local/elasticsearch-HQ/application.py --host 0.0.0.0 --port 5000
autostart=true
autorestart=true
#user=elasticsearch
redirect_stderr=true
stdout_logfile=/tmp/ElasticHQ.log
EOF
supervisorctl update
supervisorctl reload
supervisorctl status
```
> docker 安裝
```
docker run -p 5000:5000 elastichq/elasticsearch-hq
```
web端訪問結果：http://192.168.110.245:5000/
# 4. 安裝 Kibana
## 4.1 引用：
> Kibana是一個針對Elasticsearch的開源分析及視覺化平臺，用來搜尋、檢視互動儲存在Elasticsearch索引中的資料。使用Kibana，可以通過各種圖表進行高階資料分析及展示。
> Kibana讓海量資料更容易理解。它操作簡單，基於瀏覽器的使用者介面可以快速建立儀表板（dashboard）實時顯示Elasticsearch查詢動態。
## 4.2 安裝：
```
yum -y install kibana-7.6.2-x86_64.rpm
#建立日誌路徑
mkdir /var/log/kibana
touch /var/log/kibana/kibana.log
chmod -R 755 /var/log/kibana/
chown -R kibana /var/log/kibana/
```
## 4.3 修改配置檔案
```
[root@node01 elk]# cat /etc/kibana/kibana.yml |grep -Ev '^#|^$'
#kibana 埠號
server.port: 5601
#kibana 內網 ip
server.host: "192.168.110.245"
#es 的地址
elasticsearch.hosts: ["http://192.168.110.245:9200"]
#es 的賬號密碼，在配置 tls 通訊的時候那裡就設定了的
elasticsearch.username: "kibana"
elasticsearch.password: "123456"
#記錄傳送到 es 的查詢
elasticsearch.logQueries: true
# 日誌路徑
logging.dest: /var/log/kibana/kibana.log
# 禁止顯示除錯誤訊息以外的所有日誌記錄輸出。
logging.quiet: true
# 記錄所有日誌事件，包括系統使用情況資訊和所有請求
logging.verbose: false
# 開啟 xpack
xpack.security.enabled: true
```
## 4.4 啟動
```
systemctl restart kibana
systemctl status kibana
```
## 4.5 open kibana url
http://192.168.110.245:5601/ ，這裡要用 elastic 賬號登入，使用 kibana 登入是無法，會報錯 403 沒許可權
## 4.6 記憶體限制
參考資料：
預設記憶體限制 1.4GB，如果過需要可以通過環境變數進行替換，一般不需要更改。
# 5. node02 安裝 logstash
## 5.1 安裝 logstash
```
yum -y install logstash-7.6.2.rpm
cp /etc/logstash/logstash.yml /etc/logstash/logstash.yml.orig
```
## 5.2 配置檔案
```
[root@node02 elk]# cat /etc/logstash/logstash.yml|grep -Ev '#|^$'
path.data: /var/lib/logstash
# 配置自動載入配置，這樣就無須在更改配置時手動重啟 logstash 引起資料丟失
config.reload.automatic: true
# 自動載入的時間
config.reload.interval: 10s
path.logs: /var/log/logstash
```
## 5.3 修改記憶體地址
```
vim /etc/logstash/jvm.options
-Xms1g
-Xmx1g
```
## 5.4 手動測試，輸入 hello
```
cd /usr/share/logstash
./bin/logstash -e 'input { stdin { } } output { stdout { } }'
hello
```
# 6. node02、03安裝 filebeat
## 6.1 安裝
```
yum -y install filebeat-7.6.2-x86_64.rpm
cd /etc/filebeat
cp filebeat.yml filebeat.yml.orig
```
# 7. 日誌處理
## 案例一：官方例子
## 參考：
https://www.elastic.co/guide/en/logstash/7.7/plugins-inputs-beats.html
https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html
## 7.1.1在 node02 調整 logstash 配置
```
cd /etc/logstash/conf.d/
cat < /etc/logstash/conf.d/example.conf
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://192.168.110.245:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}"
user => "elastic"
password => "123456"
}
}
EOF
systemctl restart logstash
```
## 7.1.2檢查埠是否啟動：
```
[root@node02 elk]# netstat -nltp|grep 5044
tcp6 0 0 :::5044 :::* LISTEN 31422/java
```
## 7.1.3 在 node02 配置 filebeat
```
cd /root/src/elk
wget https://download.elastic.co/demos/logstash/gettingstarted/logstash-tutorial.log.gz
gzip -d logstash-tutorial.log.gz
cat < filebeat.yml
filebeat.inputs:
- type: log
paths:
- /root/src/elk/logstash-tutorial.log
output.logstash:
hosts: ["192.168.110.246:5044"]
EOF
```
## 7.1.4 啟動 filebeat
```
/usr/share/filebeat/bin/filebeat -e -c filebeat.yml -d "publish"
```
啟動結果部分截圖：
## 7.1.5 在 kibana 開啟“Management”->>“Elasticsearch”->>“IndexManagement”，可以看到 filebeat 的索引
然後我們到 kiabana 那裡新增 index 試試。
建立成功
最後我們到 Discover 這裡就可以看到相關試圖了
## 3.3 安裝 elasticsearch -HQ
> 普通安裝：
(1)安裝python3.6
```
yum install python3 python3-pip python3-devel -y
```
(2) 安裝 elasticsearch-HQ
```
cd /usr/local/src/
wget -O elasticsearch-HQ.zip https://github.com/ElasticHQ/elasticsearch-HQ/archive/master.zip
unzip elasticsearch-HQ.zip
mv elasticsearch-HQ-master /usr/local/elasticsearch-HQ
cd /usr/local/elasticsearch-HQ
pip3 install -r requirements.txt
cat <
# 4. 安裝 Kibana
## 4.1 引用：
> Kibana是一個針對Elasticsearch的開源分析及視覺化平臺，用來搜尋、檢視互動儲存在Elasticsearch索引中的資料。使用Kibana，可以通過各種圖表進行高階資料分析及展示。
> Kibana讓海量資料更容易理解。它操作簡單，基於瀏覽器的使用者介面可以快速建立儀表板（dashboard）實時顯示Elasticsearch查詢動態。
## 4.2 安裝：
```
yum -y install kibana-7.6.2-x86_64.rpm
#建立日誌路徑
mkdir /var/log/kibana
touch /var/log/kibana/kibana.log
chmod -R 755 /var/log/kibana/
chown -R kibana /var/log/kibana/
```
## 4.3 修改配置檔案
```
[root@node01 elk]# cat /etc/kibana/kibana.yml |grep -Ev '^#|^$'
#kibana 埠號
server.port: 5601
#kibana 內網 ip
server.host: "192.168.110.245"
#es 的地址
elasticsearch.hosts: ["http://192.168.110.245:9200"]
#es 的賬號密碼，在配置 tls 通訊的時候那裡就設定了的
elasticsearch.username: "kibana"
elasticsearch.password: "123456"
#記錄傳送到 es 的查詢
elasticsearch.logQueries: true
# 日誌路徑
logging.dest: /var/log/kibana/kibana.log
# 禁止顯示除錯誤訊息以外的所有日誌記錄輸出。
logging.quiet: true
# 記錄所有日誌事件，包括系統使用情況資訊和所有請求
logging.verbose: false
# 開啟 xpack
xpack.security.enabled: true
```
## 4.4 啟動
```
systemctl restart kibana
systemctl status kibana
```
## 4.5 open kibana url
http://192.168.110.245:5601/ ，這裡要用 elastic 賬號登入，使用 kibana 登入是無法，會報錯 403 沒許可權
## 4.6 記憶體限制
參考資料：
# 6. node02、03安裝 filebeat
## 6.1 安裝
```
yum -y install filebeat-7.6.2-x86_64.rpm
cd /etc/filebeat
cp filebeat.yml filebeat.yml.orig
```
# 7. 日誌處理
## 案例一：官方例子
## 參考：
https://www.elastic.co/guide/en/logstash/7.7/plugins-inputs-beats.html
https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html
## 7.1.1在 node02 調整 logstash 配置
```
cd /etc/logstash/conf.d/
cat <
## 7.1.5 在 kibana 開啟“Management”->>“Elasticsearch”->>“IndexManagement”，可以看到 filebeat 的索引
然後我們到 kiabana 那裡新增 index 試試。
建立成功
最後我們到 Discover 這裡就可以看到相關試圖了