從零開始搭建K8S--如何監控K8S叢集日誌

阿新 • • 發佈：2019-03-13

架構選擇（ELK VS EFK）
ELK
我們首先介紹一下傳統的日誌監控方案。其中，ELK Stack 是我們最熟悉不過的架構。所謂ELK，分別指Elastic公司的Elasticsearch、Logstash、Kibana。在比較舊的ELK架構中，Logstash身兼日誌的採集、過濾兩職。但由於Logstash基於JVM，效能有一定限制，因此，目前業界更推薦使用Go語言開發FIiebeat代替Logstash的採集功能，Logstash只作為了日誌過濾的中介軟體。

最常見的ELK架構如下：

image.png

如上圖所示，各角色功能如下：

多個Filebeat在各個業務端進行日誌採集，然後上傳至Logstash
多個Logstash節點並行（負載均衡，不作為叢集），對日誌記錄進行過濾處理，然後上傳至Elasticsearch叢集
多個Elasticsearch構成叢集服務，提供日誌的索引和儲存能力
Kibana負責對Elasticsearch中的日誌資料進行檢索、分析
當然，在該架構中，根據業務特點，還可以加入某些中介軟體，如Redis、Kafak等：

image.png

如上圖所示，Kafka叢集作為訊息緩衝佇列，可以降低大量FIlebeat對Logstash的併發訪問壓力。

EFK
目前，在K8S的日誌監控解決方案中，EFK也是較常用的架構。所謂的EFK，即Elasticsearch + Fluentd + Kibana。在該架構中，Fluentd作為日誌採集客戶端。但我個人認為，相對於Filebeat，Fluentd並沒有突出的優勢。並且，由於同屬於Elastic公司，Filebeat可以更好的相容其產品棧。因此，在K8S上，我仍然推薦ELK架構。

日誌採集方式
確定使用ELK+Filebeat作為架構後，我們還需要明確Filebeat採集K8S叢集日誌的方式，這也是本文的重點。官方文件中提到了三種採集方式，這裡簡單介紹一下：

方式1：Node級日誌代理
在每個節點（即宿主機）上可以獨立執行一個Node級日誌代理，通常的實現方式為DaemonSet。使用者應用只需要將日誌寫到標準輸出，Docker 的日誌驅動會將每個容器的標準輸出收集並寫入到主機檔案系統，這樣Node級日誌代理就可以將日誌統一收集並上傳。另外，可以使用K8S的logrotate或Docker 的log-opt 選項負責日誌的輪轉。

Docker預設的日誌驅動（LogDriver）是json-driver，其會將日誌以JSON檔案的方式儲存。所有容器輸出到控制檯的日誌，都會以*-json.log的命名方式儲存在/var/lib/docker/containers/目錄下。對於Docker日誌驅動的具體介紹，請參考官方文件。另外，除了收集Docker容器日誌，一般建議同時收集K8S自身的日誌以及宿主機的所有系統日誌，其位置都在var/log下。

所以，簡單來說，本方式就是在每個node上各執行一個日誌代理容器，對本節點/var/log和 /var/lib/docker/containers/兩個目錄下的日誌進行採集，然後彙總到elasticsearch叢集，最後通過kibana展示。

方式2：伴生容器（sidecar container）作為日誌代理
建立一個伴生容器（也可稱作日誌容器），與應用程式容器在處於同一個Pod中。同時伴生容器內部執行一個獨立的、專門為收集應用日誌的代理，常見的有Logstash、Fluentd 、Filebeat等。日誌容器通過共享卷可以獲得應用容器的日誌，然後進行上傳。

方式3：應用直接上傳日誌
應用程式容器直接通過網路連線上傳日誌到後端，這是最簡單的方式。

對比

其中，相對來說，方式1在業界使用更為廣泛，並且官方也更為推薦。因此，最終我們採用ELK+Filebeat架構，並基於方式1，如下：

準備操作
DaemonSet概念介紹
在搭建前，我們先簡單介紹一下方式1中提到的DaemonSet，這也是一個重要的概念：

DaemonSet能夠讓所有（或者一些特定）的Node節點運行同一個pod。當節點加入到kubernetes叢集中，pod會被（DaemonSet）排程到該節點上執行，當節點從kubernetes叢集中被移除，被（DaemonSet）排程的pod會被移除，如果刪除DaemonSet，所有跟這個DaemonSet相關的pods都會被刪除。

因此，我們可以使用DaemonSet來部署Filebeat。這樣，每當叢集加入一個新的節點，該節點就會自動建立一個Filebeat守護程序，並有且只有一個。

另外，由於篇幅限制，本文只介紹如何通過基於DaemonSet的Filebeat來收集K8S叢集的日誌，而非介紹如何在K8S上搭建一個ELK叢集。同時，日誌記錄將直接上傳至Elasticsearch中，而不通過Logstash，並且本文假設Elasticsearch叢集已提前搭建完畢可直接使用。

清楚了本文的側重點後，好，走你~

官方Filebeat部署指令碼介紹
這裡，我們將基於Elastic官方提供的Filebeat部署指令碼進行部署，如下所示：

---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-config
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
filebeat.yml: |-
filebeat.config:
prospectors:
# Mounted `filebeat-prospectors` configmap:
path: ${path.config}/prospectors.d/*.yml
# Reload prospectors configs as they change:
reload.enabled: false
modules:
path: ${path.config}/modules.d/*.yml
# Reload module configs as they change:
reload.enabled: false

processors:
- add_cloud_metadata:

cloud.id: ${ELASTIC_CLOUD_ID}
cloud.auth: ${ELASTIC_CLOUD_AUTH}

output.elasticsearch:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
username: ${ELASTICSEARCH_USERNAME}
password: ${ELASTICSEARCH_PASSWORD}
---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-prospectors
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
kubernetes.yml: |-
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
---
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: filebeat
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
spec:
template:
metadata:
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
spec:
serviceAccountName: filebeat
terminationGracePeriodSeconds: 30
containers:
- name: filebeat
image: docker.elastic.co/beats/filebeat:6.2.4
args: [
"-c", "/etc/filebeat.yml",
"-e",
]
env:
- name: ELASTICSEARCH_HOST
value: elasticsearch
- name: ELASTICSEARCH_PORT
value: "9200"
- name: ELASTICSEARCH_USERNAME
value: elastic
- name: ELASTICSEARCH_PASSWORD
value: changeme
- name: ELASTIC_CLOUD_ID
value:
- name: ELASTIC_CLOUD_AUTH
value:
securityContext:
runAsUser: 0
resources:
limits:
memory: 200Mi
requests:
cpu: 100m
memory: 100Mi
volumeMounts:
- name: config
mountPath: /etc/filebeat.yml
readOnly: true
subPath: filebeat.yml
- name: prospectors
mountPath: /usr/share/filebeat/prospectors.d
readOnly: true
- name: data
mountPath: /usr/share/filebeat/data
- name: varlibdockercontainers
mountPath: /var/lib/docker/containers
readOnly: true
volumes:
- name: config
configMap:
defaultMode: 0600
name: filebeat-config
- name: varlibdockercontainers
hostPath:
path: /var/lib/docker/containers
- name: prospectors
configMap:
defaultMode: 0600
name: filebeat-prospectors
- name: data
emptyDir: {}
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: filebeat
subjects:
- kind: ServiceAccount
name: filebeat
namespace: kube-system
roleRef:
kind: ClusterRole
name: filebeat
apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
name: filebeat
labels:
k8s-app: filebeat
rules:
- apiGroups: [""] # "" indicates the core API group
resources:
- namespaces
- pods
verbs:
- get
- watch
- list
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: filebeat
namespace: kube-system
labels:
k8s-app: filebeat
---
如上，看起來似乎挺複雜，可以分為如下幾個部分：

ConfigMap
DaemonSet
ClusterRoleBinding
ClusterRole
ServiceAccount

ConfigMap
我們先重點關注一下DaemonSet的volumeMounts和volumes，以瞭解ConfigMap的掛載方式：

volumeMounts:
- name: config
mountPath: /etc/filebeat.yml
readOnly: true
subPath: filebeat.yml
- name: prospectors
mountPath: /usr/share/filebeat/prospectors.d
readOnly: true
- name: data
mountPath: /usr/share/filebeat/data
- name: varlibdockercontainers
mountPath: /var/lib/docker/containers
readOnly: true
volumes:
- name: config
configMap:
defaultMode: 0600
name: filebeat-config
- name: varlibdockercontainers
hostPath:
path: /var/lib/docker/containers
- name: prospectors
configMap:
defaultMode: 0600
name: filebeat-prospectors
- name: data
emptyDir: {}
如上，volumeMounts包括四個部分，解釋如下：

config
filebeat-config這個Configmap會生成一個filebeat.yml檔案，其會被掛載為Filebeat的配置檔案/etc/filebeat.yml
prospectors
prospectors這個Configmap會生成一個kubernetes.yml檔案，其會被掛載到路徑/usr/share/filebeat/prospectors.d下，並被filebeat.yml引用
data
Filebeat自身的資料掛載為emptyDir: {}
varlibdockercontainers
K8S叢集的日誌都儲存在/var/lib/docker/containers，Filebeat將從該路徑進行收集
瞭解了ConfigMap的掛載方式後，現在，我們分析第一個ConfigMap：

在filebeat.yml中，可以看到Filebeat的一個重要元件： prospectors（採礦者），其主要用來指定從哪些檔案中採集資料。這裡，prospectors並沒有直接指定目標檔案，而是間接的引用路徑：${path.config}/prospectors.d/*.yml，由前面可知，該路徑中的yml檔案由第二個ConfigMap定義：

---
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-prospectors
namespace: kube-system
labels:
k8s-app: filebeat
kubernetes.io/cluster-service: "true"
data:
kubernetes.yml: |-
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
如上，type指定了prospectors的型別為docker，表示收集本機的docker日誌。containers.ids為*表示監聽所有容器。type除了docker，一般使用更多的是log，可以直接指定任何路徑上的日誌檔案，參見官方文件。

部署步驟
介紹完Filebeat的部署指令碼後，我們開始真正的部署過程。

1.部署Filebeat
官方配置檔案無法直接使用，需要我們定製。首先，修改DaemonSet中的環境變數env：

env:
- name: ELASTICSEARCH_HOST
value: "X.X.X.X"
- name: ELASTICSEARCH_PORT
value: "9200"
- name: ELASTICSEARCH_USERNAME
value:
- name: ELASTICSEARCH_PASSWORD
value:
- name: ELASTIC_CLOUD_ID
value:
- name: ELASTIC_CLOUD_AUTH
value:
如上，ELASTICSEARCH_HOST指定為Elasticsearch叢集的入口地址，埠ELASTICSEARCH_PORT為預設的9200；由於我的叢集沒有加密，因此ELASTICSEARCH_USERNAME和ELASTICSEARCH_PASSWORD全部留空，大家可以酌情修改；其他保持預設。

同時，還需要註釋掉第一個ConfigMap中output.elasticsearch的使用者名稱和密碼：

output.elasticsearch:
hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
#username: ${ELASTICSEARCH_USERNAME}
#password: ${ELASTICSEARCH_PASSWORD}
其次，還需要修改第二個ConfigMap的data部分為：

data:
kubernetes.yml: |-
- type: log
enabled: true
paths:
- /var/log/*.log
- type: docker
containers.ids:
- "*"
processors:
- add_kubernetes_metadata:
in_cluster: true
如上，type: docker的配置可以對K8S上所有Docker容器產生的日誌進行收集。另外，為了收集宿主機系統日誌和K8S自身日誌，我們還需要獲取/var/log/*.log。

修改並建立完畢後，檢視DaemonSet資訊，如下圖所示：

[root@k8s-node1 filebeat]# kubectl get ds -n kube-system
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
calico-etcd 1 1 1 1 1 node-role.kubernetes.io/master= 5d
calico-node 3 3 3 3 3 <none> 5d
filebeat 2 2 0 2 0 <none> 24s
kube-proxy 3 3 3 3 3 <none> 5d
檢視pod資訊，每個節點都會啟動一個filebeat容器：

filebeat-hr5vq 1/1 Running 1 3m 192.168.169.223 k8s-node2
filebeat-khzzj 1/1 Running 1 3m 192.168.108.7 k8s-node3
filebeat-rsnbl 1/1 Running 0 3m 192.168.36.126 k8s-node1

2.部署Kibana
參考官方示例，我們按需修改為如下：

apiVersion: apps/v1
kind: Deployment
metadata:
name: kibana-logging
namespace: kube-system
labels:
k8s-app: kibana-logging
spec:
replicas: 1
selector:
matchLabels:
k8s-app: kibana-logging
template:
metadata:
labels:
k8s-app: kibana-logging
spec:
containers:
- name: kibana-logging
image: docker.elastic.co/kibana/kibana:6.2.4
resources:
# need more cpu upon initialization, therefore burstable class
limits:
cpu: 1000m
requests:
cpu: 100m
env:
- name: ELASTICSEARCH_URL
value: http://X.X.X.X:9200
ports:
- containerPort: 5601
name: ui
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: kibana-logging
namespace: kube-system
labels:
k8s-app: kibana-logging
spec:
type: NodePort
ports:
- port: 5601
targetPort: 5601
selector:
k8s-app: kibana-logging
如上，Kibana的版本為6.2.4，並且一定要與Filebeat、Elasticsearch保持一致。另外，注意將Deployment中env的環境變數ELASTICSEARCH_URL，修改為自己的Elasticsearch叢集地址。

這裡我們使用了Service暴露了NodePort，當然也可以使用Ingress。

3.訪問Kibana
好了，現在我們可以通過NodeIp:NodePort或Ingress方式來訪問Kibana。在配置Elasticsearch索引字首後，即可檢索日誌：

如上，可以看到K8S中各個容器的日誌，當然也包括宿主機的系統日誌。

4.測試應用日誌
至此，我們通過Filebeat成功獲取了K8S上的容器日誌以及系統日誌。但在實際中，我們更關注的是應用程式的業務日誌。這裡，我們編寫一個簡單的JAVA專案來測試一下。

測試程式碼
只是簡單的迴圈輸出遞增序列：

logback.xml
appender指定為STDOUT即可：

Dockerfile
可以使用gradle將專案釋出為tar包，然後拷貝到java:9-re映象中。在build映象後，記得別忘記上傳至自己的倉庫中：

K8S部署指令碼
執行該指令碼即可完成測試專案的部署：

輸出日誌
我們可以去/var/lib/docker/containers/下檢視測試專案輸出的json格式日誌：

在Dashborad中，也可以檢視標準輸出的日誌：

好了，我們已經成功的通過Filebeat上傳了自定義的應用

從零開始搭建K8S--如何監控K8S叢集日誌

從零開始搭建K8S--如何監控K8S叢集日誌

從零開始搭建ELK+GPE監控預警系統

從零開始搭建hadoop叢集

從零開始的Hadoop大資料叢集（偽）搭建，全免費VirtualBox虛擬機器Ubuntu版，學習向，超詳細---（一）

從零開始搭建Redis 叢集，三主三從模式

# 從零開始搭建Hadoop2.7.1的分散式叢集

CentOS7 從零開始搭建 Hadoop2.7叢集

從零開始搭建hadoop分散式叢集環境：（一）新建hadoop使用者以及使用者組

Redis詳解（十）------ 從零開始搭建叢集

從零開始搭建android框架系列（轉）

從零開始搭建框架SSM+Redis+Mysql（二）之MAVEN項目搭建

從零開始搭建VUE項目

從零開始搭建輕量級個人XSS平臺

從零開始搭建系統3.4——緩存組件開發

從零開始搭建系統2.7——Quartz安裝及配置

從零開始搭建系統1.2——Nginx安裝及配置

從零開始搭建系統2.3——Cat安裝及配置

從零開始搭建系統2.5——Apollo安裝及配置

從零開始搭建系統1.3——Tomcat安裝及配置

從零開始搭建系統4.3——詳細設計

從零開始搭建K8S--如何監控K8S叢集日誌

相關推薦