1. 程式人生 > >ELK日誌分散式日誌平臺搭建

ELK日誌分散式日誌平臺搭建

首先先搭建好ELK中的ElasticSearch儲存資料 和Logstash採集資料

es的獨立性也很強,它本身是一個分散式的搜尋引擎,通過倒排序索引對儲存的資料進行索引。 當輸入查詢關鍵字之後,es依據命中結果的匹配度有序返回結果,效果就像大家百度或者google搜尋一樣。

在ELK組合中,擔當的是資料儲存、索引和提供查詢介面的功能。

kibana圖形顯示資料

kibana是一個數據展示的客戶端,提供對es中資料的視覺化搜尋和展示功能,主要提供了時間維度和資料中欄位值的檢索。以及功能豐富的看板,能夠新增曲線圖、餅圖、地址分佈圖等多種樣式的展示圖形。

elasticsearch 服務安全配置

elasticsearch 服務安全配置

一、目前主要通過外掛的形式來控制:

  1. 常用的外掛主要包括:elasticsearch-http-basic,search-guard,shield
  2. 由於shield是收費的暫時還未研究(研究後統一補充)
  3. search-guard主要用於elasticsearch2.x以後的版本(研究後統一補充)
  4. elasticsearch-http-basic主要用於elasticsearch1.x的版本
  5. 基於目前我們es叢集大部分都是1.5.2版本的,所以主要使用http-basic來控制來自http請求的訪問。

二、elasticsearch-http-basic安裝:

  1. 在ES的plugins資料夾下新建http-basic資料夾
  2. 把下載的 elasticsearch-http-basic-1.5.1.jar拷貝到新建的http-basic資料夾下
  3. 修改ES的配置檔案elasticsearch.yml,在檔案末尾新增以下配置:
配置名                                     預設值                            說明

http.basic.enabled                         true                            開關,開啟會接管全部HTTP連線

http.basic.user                          "admin"                          賬號

http.basic.password                      "admin_pw"                       密碼

http.basic.ipwhitelist            ["localhost", "127.0.0.1"]    白名單內的ip訪問不需要通過賬號和密碼,支援ip和主機名,不支援ip區間或正則

http.basic.trusted_proxy_chains    []                                    信任代理列表

http.basic.log    false                                              把無授權的訪問事件新增到ES的日誌

http.basic.xforward    ""                                          記載代理路徑的header欄位名

5.重啟ES叢集
目前我們主要通過http.basic.ipwhitelist 白名單 + 使用者名稱、密碼來控制外部機器對ES叢集的http請求,

1.在白名單內的ip列表使用者無需驗證可直接通過ES節點的ip地址訪問ES,白名單外的使用者無權訪問ES叢集

2.由於白名單無法控制通過域名的訪問,如果要通過域名訪問ES必須要通過使用者名稱和密碼來訪問

配置 Kibana Kibana server 啟動時從 kibana.yml 檔案中讀取配置屬性。Kibana 預設配置 localhost:5601 。改變主機和埠號,或者連線其他機器上的 Elasticsearch,需要更新 kibana.yml 檔案。也可以啟用 SSL 和設定其他選項。

#預設值: 5601 Kibana 由後端伺服器提供服務,該配置指定使用的埠號。
server.port: 5601
#預設值: "localhost" 指定後端伺服器的主機地址。
server.host: "192.168.1.191"
#預設值: "http://localhost:9200" 用來處理所有查詢的 Elasticsearch 例項的 URL 。
elasticsearch.url: "http://192.168.1.191:9200"

啟動Kibana

./kibana  //不能關閉終端
nohup  ./kibana > /nohub.out &  //可關閉終端,在nohup.out中檢視log
在瀏覽器中訪問:http://192.168.1.191:5601/

輸入*配備所有目錄 選擇其中一個生成資料 在這裡插入圖片描述

ELK日誌平臺整合