1. 程式人生 > >利用docker-compose實現elk+redice的但宿主機環境搭建

利用docker-compose實現elk+redice的但宿主機環境搭建

第一步 環境準備---工作目錄準備

1)C:\Users\xu\Desktop\elkcompose\compose\elk_stack

2)C:\Users\xu\Desktop\elkcompose\elasticsearch\config

3)C:\Users\xu\Desktop\elkcompose\elasticsearch\data

4)C:\Users\xu\Desktop\elkcompose\logstash\agent

5)C:\Users\xu\Desktop\elkcompose\logstash\central

6)C:\Users\xu\Desktop\elkcompose\logstash\data

第二部 先關配置檔案內容

1)docker-compose.yml(放在C:\Users\xu\Desktop\elkcompose\compose\elk_stack),配置內容如下:

version: '2'
services:
    elasticsearch-central:
        image: elasticsearch:2
        container_name: elasticsearch-central
        volumes:
           - /c/Users/xu/Desktop/elkcompose/elasticsearch/data/:/usr/share/elasticsearch/data
           - /c/Users/xu/Desktop/elkcompose/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
        environment:
           - ES_CLUSTERNAME=elasticsearch
        command: elasticsearch
        ports:
           - "9200:9200"
           - "9300:9300"

    kibana-frontend:
        image: kibana:latest
        container_name: kibana-frontend
        ports:
           - "5601:5601"
        links:
           - elasticsearch-central:elasticsearch

    redis-cache:
        image: redis:latest
        container_name: redis-cache
        ports:
           - "6379:6379"

    logstash-central:
        image: logstash:latest
        container_name: logstash-central
        ports:
           - "25826:25826"
           - "25826:25826/udp"
        volumes:
           - /c/Users/xu/Desktop/elkcompose/logstash/central:/conf
           - /c/Users/xu/Desktop/elkcompose/logstash/data/:/data
        command: logstash -f /conf/central.conf
        links:
           - redis-cache:redis
           - elasticsearch-central:db

    logstash-agent:
        image: logstash:latest
        container_name: logstash-agent
        ports:
           - "25827:25827"
           - "25827:25827/udp"
        volumes:
           - /c/Users/xu/Desktop/elkcompose/logstash/agent:/conf
        command: logstash -f /conf/agent.conf
        links:
           - redis-cache:redis
2)elasticsearch.yml(位於C:\Users\xu\Desktop\elkcompose\elasticsearch\config
cluster.name: ${ES_CLUSTERNAME}

node.name: ${HOSTNAME}

network.host: 0.0.0.0

discovery.zen.ping.multicast.enabled: true
3)agent.conf(位於C:\Users\xu\Desktop\elkcompose\logstash\agent)
input
{
  tcp
   {
    port => 25827
    type => syslog
   }
  udp
   {
    port => 25827
    type => syslog
   }
}

output
{
  stdout { codec => rubydebug }
  redis
        {
          host => "redis-cache"
          data_type => "list"
          key => "logstash"
        }
}

4)central.conf(位於C:\Users\xu\Desktop\elkcompose\logstash\central
input
{
     file {
            path => "/data/test.txt"
     }
}

output
{

  stdout { }
  elasticsearch
         {
               # we must specify cluster name as we do not use default elasticsearch one
               hosts => "elasticsearch-central:9200"
               # Here not using host as we use cluster | host => db
         }
}

注意:要在C:\Users\xu\Desktop\elkcompose\logstash\data目錄下的test.txt中新增測試資料,測試資料如下

2,xu,30,beijing,hebei

步驟三  建立test宿主機,建立命令是doecker-machine create -d cirtualbox test

步驟四  啟動容器,相關命令是

1)eval $(docker-machine env test) 

2) docker-compose  up

步驟五  檢視測試結果





相關推薦

利用docker-compose實現elk+redice宿主環境搭建

第一步 環境準備---工作目錄準備 1)C:\Users\xu\Desktop\elkcompose\compose\elk_stack 2)C:\Users\xu\Desktop\elkcompose\elasticsearch\config 3)C:\Users\xu\

Docker的安裝和鏡像管理並利用Docker容器實現nginx的負載均衡、動靜分離

docker的安裝和鏡像管理並利用docker容器實現nginx的負載均衡、動靜分離Docker的安裝一、Docker的概念Docker 是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中,然後發布到任何流行的 Linux 機器上,也可以實現虛擬化。容器是完全使用沙箱機制,相互

docker-compose 實現mysql主從配置

step1:首先docker-compose搭建三個mysql, 基礎操作 version: '2' services: mysql-master: image: mysql:5.7.18 networks: mysq

docker-compose 實現mysql主從節點

step1: 首先docker-compose搭建三個mysql, 基礎操作 services: mysql-master: image: mysql:5.7.18 networks: mysqlne

利用 docker-compose 配置 php 開發環境

記錄一次利用 docker-compose 搭建開發環境過程,避免重複配置 安裝 docker 與 docker-compose docker 在 win 和 macOS 都有安裝包,linux 根據版本和官網教程可以安裝。 docker-compose 安裝參照官方教程。

centos7 中利用docker技術實現mysql主從複製

我這是在一臺阿里雲伺服器上安裝docker,啟動兩個mysql容器,實現mysql主從複製功能。 一、環境準備: MySQL : 5.7 Docker : 1.13.1 CentOS : 7 二、啟動mysql容器 上述文章講過了如何安裝docker

利用docker-compose搭建ELK5.0

一、搭建環境 172.19.2.51:elasticsearch+kibana+logstash+kopf 172.19.2.50:elasticsearch+nginx+filebeat 172.19.2.49:elasticsearch 其中nginx的訪問日誌為我們要採集的內容,用filebea

利用Docker Compose快速搭建本地測試環境

前言 Compose是一個定義和執行多個Docker應用的工具,用一個YAML(dockder-compose.yml)檔案就能配置我們的應用。然後用一個簡單命令就能啟動所有的服務。Compose編排Docker服務的優勢是在單機測試場景,因為Compose的安裝簡單,開箱即用,yaml的定義也複用了Doc

Docker-使用數據卷在宿主和容器間的數據共享

功能 gif spa pull 找到 是否 運行命令 如果 res 場景一:現在用Docker創建了N個容器,但是這些容器之間需要數據共享,這個時候我們應該怎麽辦?[參考第四步] 場景二:docker創建了一個容器並進入容器,添加了一些定制功能,此時除了用docker

使用Docker-Compose建立ElasticSearch 6.4版本單機環境(含叢集版)

配置docker-compose.yml檔案如下: elasticsearch:     image: elasticsearch:6.4.0     environment:       - http.cors.enab

基於docker-compose的 ELK5.5.1+logback 日誌系統搭建

基於elastic官方docker映象、版本5.5.1 一、目錄結構 二、ELK的docker映象安裝 1、docker-compose.yml version: '2'

利用 Docker 構建一個簡單的 java 開發編譯環境

目前 Java 語言的版本很多,除了常用的 Java 8,有一些遺留專案可能使用了 Java 7,也可能有一些比較新的的專案使用了 Java 10 以上的版本。如果想切換自己本地的 Java 開發環境,折騰起來還是需要花費一些時間的,並且日後在不同版本間切換每次都要折騰一次。 Docker 的出現讓我們維護

ELK 學習筆記之 elasticsearch環境搭建

發現 匯總 tex 索引 零配置 1-1 nbsp 日誌分析 com ELK概述: ElasticSearch是個開源分布式搜索引擎,它的特點有:分布式,零配置,自動發現,索引自動分片,索引副本機制,restful風格接口,多數據源,自動搜索負載等 Logstash是一個

Docker for Windows安裝與Linux+PHP開發環境搭建(二)

Docker for Windows安裝與Linux+PHP開發環境搭建(二) 上一篇講了docker安裝與環境搭建的步驟,這一次主要是介紹過程中遇到的錯誤情形及其錯誤處理方法: 1).執行docker pull local.registry.com:5000/php 或其他連線本地

Docker for Windows安裝與Linux+PHP開發環境搭建(一)

Docker是什麼? 簡單得來說,Docker是一個由GO語言寫的程式執行的“容器”(Linux containers, LXCs); 目前雲服務的基石是作業系統級別的隔離,在同一臺物理伺服器上虛擬出多個主機。Docker則實現了一種應用程式級別的隔離; 它改變我們基本的開發、操作單元,

Flume原始碼分析—利用Eclipse對Flume原始碼進行遠端除錯分析環境搭建(一)

一、引言 最近在學習瞭解大資料分析相關的工作,對於其中用到的收集部分用到了flume,特意花了點時間瞭解了一下flume的工作原理及工作機制。個人瞭解一個新的系統首先從概略上了解一下其基本原理後,接著從原始碼入手瞭解其部分關鍵實現部分,最後會嘗試去修改部分內容

自己實現Spring AOP(一)環境搭建及知識準備

前言 這個專案是基於JSpring IoC的,所以在看下去之前,你要確保看過之前實現JSpring IoC的文章(這些文章在我的部落格分類JSpring IoC),不然也不看不出什麼意思來,就不用浪費時間往下看了。 在做這個專案的時候發生了一件有趣的事,我發

利用DOCKER實現雲桌面的開發環境初步設想

開發 人員 階段 bsp 容器 初步 建立 開發環境 密碼 想法階段,持續更新中 一、準備一臺開發專用服務器 二、建立企業私有鏡像倉庫 三、建立開發環境鏡像並提交到私有鏡像倉庫 開發鏡像的要求: 1、安裝vnc服務,ssh服務 vnc密碼的設定 2、安

Docker compose(多容器架構實現負載均衡)

一、基本知識 Docker Compose 將所管理的容器分為三層,工程(project),服務(service)以及容器(contaienr)。Docker Compose 執行的目錄下的所有檔案(docker-compose.yml, extends 檔案或環境變數檔案等)組成一

Docker宿主作業系統檔案目錄互相隔離的實現原理

我們知道在Docker容器裡是無法訪問到宿主作業系統的檔案目錄的,但這種隔離是怎麼實現的呢? 其實一點也不神奇——利用了Linux系統的內部命令chroot。 chroot能將程序的根目錄設定成任意指定的目錄。 使用chroot我們能建立一個新的程序,並且以chroot