docker安裝elk日誌分析系統

在win10上安裝docker環境

tip：win7/8

win7、win8 系統
win7、win8 等需要利用 docker toolbox 來安裝，國內可以使用阿里雲的映象來下載，下載地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

win10

現在 Docker 有專門的 Win10 專業版系統的安裝包，需要開啟Hyper-V。

程式和功能->啟用或關閉Windows功能->選中Hyper-V

1、安裝 Toolbox

最新版 Toolbox 下載地址： https://www.docker.com/get-docker

點選 Download Desktop and Take a Tutorial，並下載 Windows 的版本，如果你還沒有登入，會要求註冊登入。

2、執行安裝檔案

雙擊下載的 Docker for Windows Installer 安裝檔案，一路 Next，點選 Finish 完成安裝。

安裝完成

Docker 會自動啟動。通知欄上會出現個小鯨魚的圖示 ，這表示 Docker 正在執行。

我們可以在命令列執行 docker version 來檢視版本號，docker run hello-world 來載入測試映象測試。

如果沒啟動，你可以在 Windows 搜尋 Docker 來啟動。

映象加速

鑑於國內網路問題，後續拉取 Docker 映象十分緩慢，我們可以需要配置加速器來解決，我使用的是網易的映象地址：http://hub-mirror.c.163.com。

1. Win10可以點選docker圖示在Settings中的Daemon來配置。
2. 新版的 Docker 使用 /etc/docker/daemon.json（Linux） 或者 %programdata%\docker\config\daemon.json（Windows） 來配置 Daemon。

請在該配置檔案中加入（沒有該檔案的話，請先建一個）：

{
  "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
 

安裝elk

開啟cmd\powershell，輸入docker命令：

docker run --ulimit nofile=65536:65536 -p 5601:5601 -p 9200:9200 -p 5044:5044 -p 5045:5045 -p 5046:5046 -d --restart=always --name elk sebp/elk

下載完會自動啟動，現在需要修改logstash配置：

docker exec -it elk /bin/bash #進入容器

cd etc/logstash/conf.d/

vim 02-beats-input.conf #修改input配置
--------------------------------------------覆蓋
input {    
    tcp {         
        port => 5044         
        codec => json_lines     
    } 
} 
output{  
    elasticsearch { 
    hosts => ["localhost:9200"] 
    }  
}

退出容器，重啟elk

docker restart elk

訪問localhost:5601可以進入kibana介面

Zipkin

需要安裝zipkin最新版本，最新版可以前往zipkin的github進行獲取

Maven倉庫連結：https://search.maven.org/remote_content?g=io.zipkin&a=zipkin-server&v=LATEST&c=exec

下載jar包，執行

下載jar包(版本可能會變)，在jar的目錄下執行命令：

java -jar zipkin-server-2.16.2-exec.jar --STORAGE_TYPE=elasticsearch --DES_HOSTS=http://ip:9200（若在本機，可以使用localhost）

--STORAGE_TYPE 指明資料服務
--DES_HOSTS 指明地址

附錄

pom.xml依賴：

<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>

logback.xml配置：

<?xml version="1.0" encoding="UTF-8"?>
<!--該日誌將日誌級別不同的log資訊儲存到不同的檔案中 -->
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml" />
 
    <springProperty scope="context" name="springAppName"
                    source="spring.application.name" />
 
    <!-- 日誌在工程中的輸出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${springAppName}" />
 
    <!-- 控制檯的日誌輸出樣式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />
 
    <!-- 控制檯輸出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日誌輸出編碼 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>
 
    <!-- 為logstash輸出的JSON格式的Appender -->
    <appender name="logstash"
              class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:5044</destination>
        <!-- 日誌輸出編碼 -->
        <encoder
                class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "severity": "%level",
                        "service": "${springAppName:-}",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "exportable": "%X{X-Span-Export:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
 
    <!-- 日誌輸出級別 -->
    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="logstash" />
    </root>
</configuration>

來自blog.koreyoshi.w