2. 程式人生 > >docker容器日誌收集方案（方案三 filebeat+journald本地日誌收集）

docker容器日誌收集方案（方案三 filebeat+journald本地日誌收集）

阿新 • • 發佈：2018-11-23

其實方案三和方案二日誌採集套路一樣，但是還是有點差別。

差別就在於日誌格式如下:

 

​

為了方便對比吧日誌貼上來

Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false
] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false
] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false
] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892  INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59, false] 1 --- [hystrix-test1-1] demo1.demo1.TestRest                     : 我收到了其他服務呼叫

------------------上面是使用syslog本地打日誌-----下面是使用journald打日誌----------------------------------------------------------------

Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫
Nov 16 11:20:30 localhost b268cf551812: 2018-11-16 03:20:30.515  INFO [demo1,31c664ed12d6265e,31c664ed12d6265e, false] 1 --- [ystrix-test1-10] demo1.demo1.TestRest                     : 我收到了其他服務呼叫

使用 journald方式與syslog不同的地方在於可以使用命令對日誌進行篩選

如我們更新容器日誌方式如下：

sudo docker service update  --log-driver journald --log-opt tag="{{.Name}}" pbblyrmsof5t

我們打印出來的日誌如下

​

 

我們可以用如下命令進行篩選列印

sudo journalctl CONTAINER_NAME=mytestdemo.1.7l7qn86kzkjkxnawxslmzin9r -f

​

 

問題和方案二是一樣的不多說，可以去找方案二檢視。

相關推薦

docker容器日誌收集方案（方案三 filebeat+journald本地日誌收集）

其實方案三和方案二日誌採集套路一樣，但是還是有點差別。 差別就在於日誌格式如下:   ​ 為了方便對比吧日誌貼上來 Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.89

docker容器日誌收集方案（方案一 filebeat+本地日誌收集）

filebeat不用多說就是掃描本地磁碟日誌檔案，讀取檔案內容然後遠端傳輸。 docker容器日誌預設記錄方式為 json-file 就是將日誌以json格式記錄在磁碟上 格式如下： {   "log": "2018-11-16 01:24:3

docker容器日誌收集方案（方案二 filebeat+syslog本地日誌收集）

與方案一一樣都是把日誌輸出到本地檔案系統使用filebeat進行掃描採集 不同的是輸出的位置是不一樣的 我們對docker進行如下設定 sudo docker service update  --log-driver syslog  pbblyrms

docker容器日誌收集方案（方案N，其他中介軟體傳輸方案）

由於docker虛擬化的特殊性導致日誌收集方案的多樣性和複雜性下面接收幾個可能的方案 ​   這個方案各大公司都在用只不過傳輸方式大同小異 中介軟體使用kafka是肯定的，kafka的積壓與吞吐能力相當強悍，其實kafka就是專門為傳輸日誌設計的，鏈路當中可以對日誌進行壓縮等。 這裡與方案

mysql高可用-基於docker容器下的pxc叢集方案

mysql單機效能測試 mysqlslap -h192.168.1.16 -uroot -p123456 -P3306 --concurrency=5000 --iterations=1 --auto-generate-sql --auto-generate-sql-loa

微信小程式填坑之路（三）：佈局適配方案（rpx、px、vw、vh）

因為小程式是以微信為平臺執行的，可以同時執行在android與ios的裝置上，所以不可避免的會遇到佈局適配問題，特別是在iphone5上，因為螢幕尺寸小的緣故，也是適配問題最多的機型，下面就簡單介紹幾種適配方法。 rpx適配 rpx是小程式中

針對windowsserver 創建iis站點訪問出錯的解決方案（HTTP 錯誤 500.19 - Internal Server Error）

intern strong 原因 對話 資源 由於 代碼 技術分享 spa 錯誤如下： 服務器錯誤 Internet信息服務 7.0 錯誤摘要HTTP 錯誤 500.19 - Internal Server Error 無法訪問請求的頁面，因為該頁的相關配置數

Docker-容器服務 Container Service04（構建鏡像+倉庫配置）

src bin ffffff 沒有 robot rom 過程 註釋 con Docker-構建鏡像-倉庫配置 04 一、Docker 鏡像介紹 Docker鏡像構建分為兩種： 1） 手動構建 2） Dockerfile（自動構建） 二、手動構建過程 基於 centos 鏡

計蒜客 青雲的機房組網方案（莫比烏斯函式+樹上dsu）

題意 給定一棵 n n n 個節點的樹，每個節點上有一個點權，邊權為均

MacOS 安裝MysqlDB 問題解決方案（ 解決 IndexError: string index out of range）

pip install MySQL-python時報錯如下： Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/wk/541xl0m91gj7562sn0ddpjg9k8mh7p/T/pip

學以致用——Excel報表自動化方案 （Automation solution of complicated manual Excel Report）

經過整整兩年多的實踐加理論學習，總算實現了一套Excel報表自動化方案。思路總結如下： 1. 使用批處理檔案呼叫批處理檔案（call batch file through batch file） 2. 在batch檔案中呼叫sqlplus程式，同時指定要連線的資料庫及登入密碼，並指定co

Docker容器技術基礎用法（二）

docker容器技術基礎入門（一） 目錄 一、前言： 二、docker architecture---docker的架構圖  關於倉庫的解釋： 三、配置阿里雲docker映象加速 四、安裝及使用docker 4.1、依賴及基礎環境： 4.2、cent

docker容器技術基礎入門（一）

目錄   一、什麼是容器 二、虛擬化的實現 1、主機級虛擬化 2、容器級別虛擬化 2.1、Linux Namespaces 2.2、Control Groups（CGroups）的作用 2.2.1、CGroups的功能 2.3、LXC（

Docker容器_學習記錄（1）

Docker容器_學習記錄（1） 官方下載映象地址  https://hub.docker.com Docker 安裝 Apache： 1. docker 環境安裝 yum install docker 2. 啟動服務 systemc

小程式中使用rpx單位,佈局適配方案（rpx、px、vw、vh）

1:小程式中使用rpx單位 rpx單位是微信小程式中css的尺寸單位，rpx可以根據螢幕寬度進行自適應。 規定螢幕寬為750rpx。如在 iPhone6 上，螢幕寬度為375px，共有750個物理畫素，則750rpx = 375px = 750物理畫素，1rpx = 0.5px

Https優化方案（減少通訊RT篇--TLS False Start）

https通訊示意圖 開啟TLS False Start後的https通訊是示意圖 可以看出，在TLS協商第二階段，瀏覽器傳送ChangeCipherSpec和Finished後，立即傳送加密的應用層資料，而無需等待伺服器端的確認。 具體可以通過抓包來看一下

Https優化方案（服務端優化配置篇--重用Session）

HTTPS的主要缺點是需要設定連線，每次新的TLS連續都需要握手，以便建立共享的加密金鑰，這個握手過程在標準TCP的握手過程之上還需要兩個額外的來回過程，用這樣一個高延時的連線，在網站第一個位元組傳輸之前需要三個來回就讓人感覺這個網站有點慢。 TLS有幾個特徵可以用來消除額

使用docker容器化web專案（windows下以及centos下）

docker安裝    選擇 DockerToolbox-18.03.0-ce下載，        安裝完成後點選 Docker QuickStart 圖示來啟動 Docker Toolbox 終端    centos下安裝：    安裝一些必要的系統工具：

ie8以下版本（包括ie8）的瀏覽器不支援html5標籤屬性解決方案（Modernizr 2.6.2外掛的使用）

我這邊申明下：我寫這篇日誌主要是想然ie8能夠支援html5的個別標籤閉合，並不能讓ie完全支援html5，我之前寫的可能會誤導很多同學，希望大家能明白。 今天腦抽想用html5標籤設計一個網頁，我本人用的是火狐瀏覽器，都弄好後我發現一個很嚴重的問題，除了ie9以下

谷歌chrome 71 flash 新增問題的解決方案（chrome禁用新增允許flash的選項）

谷歌chrome 71 flash 新增問題的解決方案（chrome禁用新增允許flash的選項） 谷歌chrome 71版本已不再允許新增支援flash的站點了，注意是禁用了，沒有新增的選項了；即便你允許某個站點的flash播放，也在退出瀏覽器後，會清除掉記錄，意味著你下次開啟同一個站點，