輕松搞定對容器實例日誌設置定期清理和回卷
說明:該文轉載自騰訊雲技術社區騰雲閣,已征求作者本人同意。
引言
Kubernetes對於容器實例的日誌收集,並沒有提供原生的解決方案。但提供使用kubectl logs
命令查看容器實例運行時的日誌。kubectl logs
命令實現的基本原理為:容器運行時默認將標準輸出和標準錯誤中的日誌輸出到磁盤上保存。保存至主機目錄:/var/lib/docker/containers/container_id/
目錄。用戶調用kubectl logs
命令時,kubelet
讀取對應的日誌文件中的數據,將數據回傳給master,再由master返回到用戶。從而實現用戶對日誌的查看。
騰訊雲容器服務利用kubectl logs
通過logrotate服務實現日誌定期清理和回卷
logrotate是個十分有用的工具,它可以自動對日誌進行截斷(或輪循)、壓縮以及刪除舊的日誌文件。例如,你可以設置logrotate,讓/var/log/foo日誌文件每30天輪循,並刪除超過6個月的日誌。配置完後,logrotate的運作完全自動化,不必進行任何進一步的人為幹預。
但如果按照之前的部署方式,需要手動在每個節點上都安裝和配置對應logrotate工具。如果通過Kubernetes容器服務編排的能力,將logrotate通過Kubernetes中服務的方式部署到各個節點上,這樣既可以實現只需要一次部署,部署到所有節點。並且通過容器的方式保證了logrotate配置的一致性。
具體的實施方案如下圖所示:
方案的具體實現是在Kubernetes集群中,創建DaemonSet資源實現。DaemonSet資源會在每個Node節點上都部署一個logrotate的容器實例,並且在容器實例中設置映射主機的log日誌目錄,從而實現日誌的定時清理和回卷。
創建DaemonSet的示例如下:
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: logrotate
spec:
template:
metadata:
labels:
app: logging
id: logrotate
name: logrotate
spec:
containers:
- name: logrotate-es
image: blacklabelops/logrotate
securityContext:
privileged:
true
volumeMounts:
- name: containers
mountPath: /
var/lib/docker/containers
- name: varlog
mountPath: /
var/log/docker
- name: logs
mountPath: /logs
env:
- name: LOGS_DIRECTORIES
value
:
"/var/lib/docker/containers /var/log/docker"
- name: LOGROTATE_INTERVAL
value
:
"hourly"
- name: LOGROTATE_OLDDIR
value
:
"/logs"
volumes:
- hostPath:
path: /
var/lib/docker/containers
name: containers
- hostPath:
path: /
var/log/docker
name: varlog
- hostPath:
path: /
var/log/containers/
name: logs
使用這個yaml文件,可以直接在Kubernetes中進行部署。
# kubectl create -f logrotate_ds.yamldaemonset"logrotate"
created
在示例的yaml文件中,logrotate服務將按照定時(1小時)的對日誌進行回卷,回卷超過5個副本後則會對日誌進行清理。如果有需要,可以修改相應的參數,設置不同的回卷規則和清理規則。詳細的參數說明可以參考:https://github.com/blacklabelops/logrotate。
通過修改dockerd參數進行回卷和清理
由於Kubernetes的日誌收集,底層是通過docker來實現。而docker提供了一定的日誌回卷和清理功能。可以通過在dockerd的啟動參數中,增加log-opts()參數實現對日誌的回卷和清理,其中max-size參數設置日誌一個副本的最大值,max-file設置日誌的最大的副本數。超過這個副本數則會對日誌進行刪除。
具體的修改過程包括三個步驟:
1、創建/etc/dockerd/daemon.json
{
"log-driver"
:
"json-file",
"log-opts"
:{
"max-size"
:
"10m",
"max-file":
"3"
}
}
參數說明: 設置單個容器日誌超過10M則進行回卷,回卷的副本數超過3個就進行清理。
2、修改dockerd 服務配置文件
在 /etc/systemd/system/multi-user.target.wants/dockerd.serviced文件中
添加dockerd啟動參數--config-file=/etc/docker/daemon.json
3、重新啟動dockerd服務
systemctl daemon-reload
service dockerd restart
輕松搞定對容器實例日誌設置定期清理和回卷