2. 程式人生 > >Docker筆記（十）：使用Docker來搭建一套ELK日誌分析系統

Docker筆記（十）：使用Docker來搭建一套ELK日誌分析系統

阿新 • • 發佈：2019-09-09

一段時間沒關注ELK（elasticsearch —— 搜尋引擎，可用於儲存、索引日誌, logstash —— 可用於日誌傳輸、轉換，kibana —— WebUI，將日誌視覺化），發現最新版已到7.4了。所以別問程式設計師為什麼這麼忙？因為不是在加班就是在學習新框架中。

本文整理了使用Docker來快速搭建一套ELK日誌分析系統的方法。

1. 部署elk

github上有人整理了一套使用docker compose來部署elk的配置，可直接下載使用。

git clone https://github.com/deviantony/docker-elk.git

 

如果沒有git，那就安裝一下（yum install git

），或者直接下載github倉庫的原始碼包。

 

當前是基於7.2.1版（docker-elk目錄下.env檔案中定義，可修改）。

 

調整一下相應的配置。

 

修改docker-compose，設定es密碼等，

vim docker-compose.yml

  # 在elasticsearch部分設定環境變數，將jvm堆記憶體增大到了1g，設定es elastic使用者的密碼
  environment:
        ES_JAVA_OPTS: "-Xmx1g -Xms1g"
        ELASTIC_PASSWORD: Passw0rd

  # 將logstash的埠對映從預設的5000改為5044，因為後面會用filebeat，不改也可以，對應就行
  ports:
        - "5044:5044"
        - "9600:9600"

  # 將jvm記憶體也增大一點
  environment:
        LS_JAVA_OPTS: "-Xmx512m -Xms512m"

  # 在volumes部分增加es資料目錄的掛載，對es資料持久化，避免容器銷燬資料丟失
  volumes:
      - /mnt/elk/esdata:/usr/share/elasticsearch/data

注意：因為es容器內部是以elasticsearch使用者啟動程序的，所以在做持久化資料目錄掛載的時候，需要將目錄許可權進行設定，否則會因為沒有訪問許可權而啟動失敗。elasticsearch的uid是1000，可以建一個uid為1000的使用者，然後將目錄所有者賦予該使用者。

 

修改es配置檔案，將xpack從trial改為basic，禁用付費功能

vim elasticsearch/config/elasticsearch.yml

  #xpack.license.self_generated.type: trial
  xpack.license.self_generated.type: basic

 

修改logstash配置檔案，設定es的使用者名稱密碼

vim logstash/config/logstash.yml

  xpack.monitoring.elasticsearch.username: elastic
  xpack.monitoring.elasticsearch.password: Passw0rd

 

修改logstash的pipeline配置

vim logstash/pipeline/logstash.conf

  # 這裡codec根據具體情況配置
  input {
          beats {
                  port => 5044
                  codec => "json"
          }
  }
  ## Add your filters / logstash plugins configuration here
  output {
          elasticsearch {
                  hosts => "elasticsearch:9200"
                  index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
                  user => "elastic"
                  password => "Passw0rd"
          }
  }

 

修改kibana配置，設定es密碼

vim kibana/config/kibana.yml

  ## X-Pack security credentials
  elasticsearch.username: elastic
  elasticsearch.password: Passw0rd

 

配置調整後，使用 docker-compose up -d 即可啟動es，logstash，kibana三個容器。第一次啟動需要下載所有映象，會比較慢，啟動完後，訪問 elk所在伺服器IP:5601即可進入kibana頁面。

這裡預設是起一個es容器，如果想起多個，參考： https://github.com/deviantony/docker-elk/wiki/Elasticsearch-cluster

 

2. 部署filebeat

filebeat部署在產生日誌的伺服器上。先下載映象，

docker pull docker.elastic.co/kibana/kibana:7.3.1

 

下載一個示例配置檔案

curl -L -O https://raw.githubusercontent.com/elastic/beats/7.3/deploy/docker/filebeat.docker.yml

 

修改配置檔案

vim filebeat.docker.yml

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

#filebeat.autodiscover:
#  providers:
#    - type: docker
#      hints.enabled: true

#processors:
#- add_cloud_metadata: ~
#- add_host_metadata: ~

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/elk/*.log

output.logstash:
  hosts: ["你的elk伺服器IP:5044"]

 

去掉了一些不必要的配置，基本就是一個input, 一個output。input paths部分配置你日誌所在目錄，注意這裡是容器內的目錄，真正伺服器的日誌目錄需要在啟動容器時掛載到這裡配置的目錄。

啟動容器

docker run -d --name filebeat --user=root -v $(pwd)/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro \
  -v /mnt/logs/elk/:/var/log/elk/ docker.elastic.co/beats/filebeat:7.3.1 filebeat -e -strict.perms=false

 

對配置檔案及實際日誌目錄與容器日誌目錄進行了掛載。

啟動成功後，對應目錄下的日誌就會通過filebeat，logstash傳輸到es，進入kibana對日誌資料建立索引進行查詢了。

 

3. 總結

前面用elk來搭建日誌分析系統還是5.1版，兩年時間已到7.4，配置方式，包括UI風格都做了很大的調整，很有一種人間一年，技術圈十載的感覺。
本文整理了基於Docker來搭建ELK框架的整個過程，供參考。


—————————————————————————————
作者：空山新雨
歡迎關注我的微信公眾號：jboost-ksxy （一個不只有技術乾貨的公眾號）

&n

相關推薦

Docker筆記（十）：使用Docker來搭建一套ELK日誌分析系統

一段時間沒關注ELK（elasticsearch —— 搜尋引擎，可用於儲存、索引日誌, logstash —— 可用於日誌傳輸、轉換，kibana —— WebUI，將日誌視覺化），發現最新版已到7.4了。所以別問程式設計師為什麼這麼忙？因為不是在加班就是在學習新框架中。 本文整理了使用Docker來快速搭

Docker筆記（二）：Docker管理的物件

原文地址：http://blog.jboost.cn/2019/07/14/docker-2.html   在Docker筆記（一）：什麼是Docker中，我們提到了Docker管理的物件包含映象、容器、網路、資料卷等，本文就來介紹下這些物件及用途。 1. 映象 所謂映象，是一個靜態的概念。

Docker筆記（三）：Docker安裝與配置

原文地址：http://blog.jboost.cn/2019/07/14/docker-3.html   Docker分為Docker CE社群免費版與Docker EE企業收費版。Docker EE主要是在安全性及映象、容器高階管理方面提供了一些額外的支援。對於中小型企業、團隊或個人來說，用

Docker筆記（四）：Docker映象管理

原文地址：http://blog.jboost.cn/2019/07/16/docker-4.html   在Docker中，應用是通過容器來執行的，而容器的執行是基於映象的，類似面向物件設計中類與物件的關係——沒有類的定義就談不上例項的建立與使用，沒有映象的定義就談不上

Docker筆記（五）：整一個自己的映象

原文地址：http://blog.jboost.cn/2019/07/17/docerk-5.html   獲取映象的途徑有兩個，一是從映象倉庫獲取，如官方的Docker Hub，二是自定義。上文已經介紹如何從映象倉庫獲取映象，本文基於一個Springboot專案，來介紹自定義一個映象的基本流程

Docker筆記（六）：容器管理

原文地址：http://blog.jboost.cn/2019/07/21/docker-6.html   容器是Docker中的另一核心概念，在Docker中，應用的執行都是在容器內進行的，容器則基於映象建立。前面已對Docker映象做了基本介紹，本文對Docker容器管理的相關內容做一個梳理

Docker筆記（七）：常用服務安裝——Nginx、MySql、Redis

開發中經常需要安裝一些常用的服務軟體，如Nginx、MySql、Redis等，如果按照普通的安裝方法，一般都相對比較繁瑣 —— 要經過下載軟體或原始碼包，編譯安裝，配置，啟動等步驟，使用 Docker 來安裝這些服務軟體能極大地簡化安裝過程，且速度也很快。   本文以下操作假定你已經裝好了docke

Docker筆記（八）：資料管理

前面（哪個前面我也忘了）有說過，如果我們需要對資料進行持久化儲存，不應使其儲存在容器中，因為容器中的資料會隨著容器的刪除而丟失，而因通過將資料儲存於宿主機檔案系統的形式來持久化。在Docker容器中管理資料主要有資料卷、宿主機目錄掛載兩種方式。 1. 資料卷的方式 資料卷是一個特殊的檔案目錄（或檔案），具

Docker筆記（九）：網路管理

Docker的應用執行在容器中，其相互之間或與外部之間是如何通訊的，涉及到哪些知識點，本文對相關內容進行整理。因網路這塊牽涉的面較多，因此只從日常使用或理解的角度出發，過於專業的就不深入探討了。 1. Docker預設的網路拓撲 在Docker筆記（二）：Docker管理的物件中，介紹了Docker通過一些驅

Docker筆記（十三）：容器日誌採集實踐

日誌是服務執行過程中的一個關鍵環節，藉助日誌，我們可以排查定位問題，也可以藉助集中化的日誌管理平臺（如ELK）來做一些必要的資料統計分析。在Docker環境中，日誌的採集比傳統環境更為複雜，因此瞭解Docker日誌的管理機制，及基於此熟悉日誌採集的最佳實踐對於開發運維人員來說也是避不開的一個知識點。那就開始吧

DOM筆記（十）：JavaScript正則表達式

asc mark space $1 rep 可能 多次 -h 區分 一、RegExp ECMAScript通過RegExp類型類支持正則表達式，語法和Perl類似： var exp = /pattern/flags; patternb部分

Python+Selenium筆記（十）：元素等待機制

tor 好的 菜單 自己 定時 場景 ive add nal （一） 前言 突然的資源受限或網絡延遲，可能導致找不到目標元素，這時測試報告會顯示測試失敗。這時需要一種延時機制，來使腳本的運行速度與程序的響應速度相匹配，WebDriver為這種情況提供了隱式等待和顯式等待兩

javaweb學習筆記（十）：XML

目錄   1 xml入門 2 xml語法 3 xml顯示 4 XML解析方式及工具 5 xml約束 1 xml入門 Extensible Markup Language（可擴充套件標記語言），XML 的設計宗旨是傳輸資料，而不是顯示資料。XML 標籤

Docker學習（11）：Docker監控方案之cAdvisor

Docker常用監控方案 資料收集利器cAdvisor 執行cadvisor容器 sudo docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/

學習筆記（十）：使用支援向量機區分僵屍網路DGA家族

1.資料蒐集和資料清洗       ·1000個cryptolocker域名       ·1000個post-tovar-goz域名       ·alexa前1000域名   &n

Docker學習（12）：Docker監控方案之Prometheus

Docker常用的監控方案 Prometheus Prometheus架構       Prometheus是一種很不錯的監控方案，它提供了監控資料蒐集、儲存、處理、視覺化和警告一套完整的解決方案，下面是Prometheus的架構 Prometheus Server

機器學習筆記（十）：TensorFlow實戰二（深層神經網路）

1 - 深度學習與深層神經網路 深度學習的精確定義為：“一類通過多層非線性變換對高複雜性資料建模演算法的集合” 因此，多層神經網路有著2個非常重要的特性 多層 非線性 1.1 - 線性模型的侷限性 線上性模型中，模型的輸出為輸入的加權和，假設一

Cris 的Python筆記（十）：面向物件三大特徵之繼承

文章目錄 1、繼承的特性 2、Python 的多繼承（瞭解） 1、繼承的特性 # 通過繼承可以使得子類很好的複用父類的程式碼，減少冗餘程式碼，同時更加符合現實邏輯（程式設計就是對現實世界的抽象）

python 學習筆記（十）： 資料庫連線池

#!/usr/bin/python # -*- coding: utf-8 -*- from __future__ import print_function import Queue import pymysql import logging LOG =

數字影象處理筆記（十）：形態學影象處理

1 - 引言 數學形態學的語言是集合論，利用集合論知識我們可以實現影象 腐蝕、膨脹 開操作、筆操作 下面就讓我們學習一下這些基於形態學的影象處理 2 - 腐蝕和膨脹 膨脹與腐蝕能實現多種多樣的功能，主要如下： 消除噪聲 分割(isolat