1. 程式人生 > >centos7搭建ELK Cluster日誌分析平臺(一)

centos7搭建ELK Cluster日誌分析平臺(一)

場景 git centos7 beat images 下載地址 install posit src

應用場景:ELK實際上是三個工具的集合,ElasticSearch + Logstash + Kibana,這三個工具組合形成了一套實用、易用的監控架構,

     很多公司利用它來搭建可視化的海量日誌分析平臺。

              官網下載地址:https://www.elastic.co/downloads

     Elasticsearch:

       一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTful web接口。

       Elasticsearch是用Java開發的,並作為Apache許可條款下的開放源碼發布,是當前流行的企業級搜索引擎。

       設計用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。

     Logstash:

       用於管理日誌和事件的工具,你可以用它去收集日誌、轉換日誌、解析日誌並將他們作為數據提供給其它模塊調用,例如搜索、存儲等。

     Kibana:

       是一個優秀的前端日誌展示框架,它可以非常詳細的將日誌轉化為各種圖表,為用戶提供強大的數據可視化支持。

    

     Filebeat:類似於 “agent” 裝在被監控端上(數據源),用來實時收集日誌文件數據。

     技術分享

                    【最簡單的架構圖】

安裝環境

:三臺主機安裝 Elasticsearch 5.4    IP: 192.168.1.21/22/23  ;

     一臺主機安裝 Logstash 5.4      IP: 192.168.1.24  ;

     一臺主機安裝 Kibana 5.4       IP: 192.168.1.25  ;

     一臺測試機裝 Filebeat 5.4

安裝步驟

    前提:已經裝好 Java 8(官方建議5.4版本最至少Java 8 或以上):

    技術分享

  1. 導入官方PGP-Key

     ~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

  

  2. 建立下載rpm包的repo   

     ~]# vim /etc/yum.repos.d/elk.repo

     [elasticsearch-5.x]

     name=Elasticsearch repository for 5.x packages

     baseurl=https://artifacts.elastic.co/packages/5.x/yum

     gpgcheck=1

     gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

     enabled=1

     autorefresh=1

     type=rpm-md

   保存後退出;

  3. 安裝elasticsearch包

     ~]#yum install elasticsearch

  

  4. 編輯配置文件

     ~]# vim /etc/elasticsearch/elasticsearch.yml

    技術分享

     技術分享

   保存,退出;

  

  5. 啟動服務

     ~]# systemctl daemon-reload

     ~]# systemctl start elasticsearch

     ~]# systemctl status elasticsearch

     技術分享

    ~]#systemctl enable elasticsearch   //加入開機啟動

  6. 查看端口狀態

     ~]#ss -tnl

     技術分享

    至此,節點es-1配置完成。

  7.配置集群中的另外節點es-2 和 es-3

   配置同es-1,修改一下配置文件裏的節點名地址即可,不再贅述。   

  8. es集群的相關查詢

    註意Elasticsearch 5.x版本不再支持相關插件:如 “elasticsearch-head”...,解釋可以訪問官網,實在需要,可以獨立運行(此處跳過)

       Elasticseach 1.x 2.x仍可支持,請查看:http://mobz.github.io/elasticsearch-head/

   查詢集群狀態方法①

     ~]# curl -XGET http://192.168.1.21:9200/_cat/nodes   //隨意一臺es中可執行,也可更換其中的 ip(這裏可22或23)

     技術分享

     ~]# curl -XGET http://192.168.1.21:9200/_cat/nodes?v   //同上在後面添加 ?v ,表示詳細顯示

     技術分享

   查詢集群狀態方法②

     ~]# curl -XGET http://192.168.1.21:9200/_cluster/state/nodes?pretty

     技術分享

   查詢集群中的master

     ~]# curl -XGET http://192.168.1.21:9200/_cluster/state/master_node?pretty

    或

     ~]# curl -XGET http://192.168.1.21:9200/_cat/master?v

     技術分享

   查詢集群的健康狀態

     ~]# curl -XGET http://192.168.1.21:9200/_cat/health?v

    或

     ~]# curl -XGET http://192.168.1.21:9200/_cluster/health?pretty

     技術分享

  

  至此ES集群安裝結束

    

centos7搭建ELK Cluster日誌分析平臺(一)