centos7搭建ELK Cluster日誌分析平臺(一)
應用場景:ELK實際上是三個工具的集合,ElasticSearch + Logstash + Kibana,這三個工具組合形成了一套實用、易用的監控架構,
很多公司利用它來搭建可視化的海量日誌分析平臺。
官網下載地址:https://www.elastic.co/downloads
Elasticsearch:
一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTful web接口。
Elasticsearch是用Java開發的,並作為Apache許可條款下的開放源碼發布,是當前流行的企業級搜索引擎。
設計用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。
Logstash:
用於管理日誌和事件的工具,你可以用它去收集日誌、轉換日誌、解析日誌並將他們作為數據提供給其它模塊調用,例如搜索、存儲等。
Kibana:
是一個優秀的前端日誌展示框架,它可以非常詳細的將日誌轉化為各種圖表,為用戶提供強大的數據可視化支持。
Filebeat:類似於 “agent” 裝在被監控端上(數據源),用來實時收集日誌文件數據。
【最簡單的架構圖】
安裝環境
一臺主機安裝 Logstash 5.4 IP: 192.168.1.24 ;
一臺主機安裝 Kibana 5.4 IP: 192.168.1.25 ;
一臺測試機裝 Filebeat 5.4
安裝步驟:
前提:已經裝好 Java 8(官方建議5.4版本最至少Java 8 或以上):
1. 導入官方PGP-Key
~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
2. 建立下載rpm包的repo
~]# vim /etc/yum.repos.d/elk.repo
[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
保存後退出;
3. 安裝elasticsearch包
~]#yum install elasticsearch
4. 編輯配置文件
~]# vim /etc/elasticsearch/elasticsearch.yml
保存,退出;
5. 啟動服務
~]# systemctl daemon-reload
~]# systemctl start elasticsearch
~]# systemctl status elasticsearch
~]#systemctl enable elasticsearch //加入開機啟動
6. 查看端口狀態
~]#ss -tnl
至此,節點es-1配置完成。
7.配置集群中的另外節點es-2 和 es-3
配置同es-1,修改一下配置文件裏的節點名和地址即可,不再贅述。
8. es集群的相關查詢
註意:Elasticsearch 5.x版本不再支持相關插件:如 “elasticsearch-head”...,解釋可以訪問官網,實在需要,可以獨立運行(此處跳過)。
Elasticseach 1.x 2.x仍可支持,請查看:http://mobz.github.io/elasticsearch-head/
查詢集群狀態方法①
~]# curl -XGET ‘http://192.168.1.21:9200/_cat/nodes‘ //隨意一臺es中可執行,也可更換其中的 ip(這裏可22或23)
~]# curl -XGET ‘http://192.168.1.21:9200/_cat/nodes?v‘ //同上在後面添加 ?v ,表示詳細顯示
查詢集群狀態方法②
~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/state/nodes?pretty‘
查詢集群中的master
~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/state/master_node?pretty‘
或
~]# curl -XGET ‘http://192.168.1.21:9200/_cat/master?v‘
查詢集群的健康狀態
~]# curl -XGET ‘http://192.168.1.21:9200/_cat/health?v‘
或
~]# curl -XGET ‘http://192.168.1.21:9200/_cluster/health?pretty‘
至此,ES集群安裝結束。
centos7搭建ELK Cluster日誌分析平臺(一)