對於 K8S 內的容器日誌收集，業內一般有兩種常用的方式： * 使用 DaemonSet 在每臺 Node 上部署一個日誌收集容器，用於收集當前 Node 上所有容器掛載到宿主機目錄下的日誌 * 使用 SideCar 模式將日誌收集容器與業務容器部署在同一個 Pod 中，只收集對應容器的日誌 這兩種方式各有優缺點。使用 DaemonSet 方式部署日誌收集服務，管理起來簡單，但是如果一個 Node 中運行了過多的 Pod，那麼日誌收集會存在效能瓶頸。使用 SideCar 模式可以更有針對性的收集容器的日誌，但是缺點是在運行了很多的業務時，SideCar 佔用的資源也會增加。同時這種方式也會出現跟業務耦合的問題。 在我們實踐 K8S 的過程中，結合當前業務的特點，最終選定了 SideCar 的方式，雖然佔用的資源會增加，但是基於後期大規模日誌收集穩定性的考慮，這些資源消耗是在承受範圍之內的。 而日誌收集的元件，經過長時間比對各種開源服務，選擇了 Filebeat。一個是因為在業務未上容器之前，就是使用的 Filebeat 來收集的日誌，在維護方面有很多的經驗。還有就是 Filebeat 可以處理一些日誌收集中出現的複雜情況，例如對於多行日誌的處理（堆疊日誌）。 下面對於整個實施步驟進行說明。 ### 一、建立名稱空間 首先建立一個名稱空間，yaml 檔案內容如下： ```yaml --- apiVersion: v1 kind: Namespace metadata: name: ns-smc-gateway labels: name: ns-smc-gateway ``` ### 二、建立 Filebeat 配置檔案 由於是使用容器的方式執行 FIlebeat，所以需要使用 Configmap 建立一個 Filebeat 的配置檔案，然後通過卷掛載的方式掛載到 Filebeat 容器的指定目錄下。 建立 Configmap 的 yaml 檔案內容如下（注意名稱空間的配置，否則後面 Filebeat 無法掛載 Configmap，如果對於下面的配置有不清楚的地方，可以參考我的另一片博文：[Filebeat根據不同的日誌設定不同的索引](https://www.cnblogs.com/xzk9381/p/13891717.html)）： ```yaml --- apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: ns-smc-gateway labels: k8s-app: filebeat data: filebeat.yml: |- filebeat.idle_timeout: 2s filebeat.inputs: - type: log paths: - /opt/logs/app.log fields: type: app-log enabled: true backoff: 1s backoff_factor: 2 close_inactive: 1h encoding: plain harvester_buffer_size: 262144 max_backoff: 10s max_bytes: 10485760 scan_frequency: 10s tail_lines: true - type: log paths: - /opt/logs/app.err fields: type: app-err-log enabled: true backoff: 1s backoff_factor: 2 close_inactive: 1h encoding: plain harvester_buffer_size: 262144 max_backoff: 10s max_bytes: 10485760 scan_frequency: 10s tail_lines: true filebeat.name: filebeat-shiper filebeat.spool_zie: 50000 output.elasticsearch: bulk_max_size: 8192 hosts: - 10.16.12.206:30187 - 10.16.12.207:30187 - 10.16.12.208:30187 - 10.16.13.214:30187 - 10.16.13.215:30187 index: smc-gateway-%{[fields.type]}-* indices: - index: smc-gateway-app-log-%{+yyyy.MM.dd} when.equals: fields.type: app-log - index: smc-gateway-app-err-log-%{+yyyy.MM.dd} when.equals: fields.type: app-err-log workers: 4 processors: - drop_fields: fields: - agent.ephemeral_id - agent.hostname - agent.id - agent.type - agent.version - ecs.version - input.type - log.offset - version - decode_json_fields: fields: - message max_depth: 1 overwrite_keys: true setup.ilm.enabled: false setup.template.name: smc-gateway-log setup.template.pattern: smc-gateway-* setup.template.overwrite: true setup.template.enabled: true ``` ### 三、建立 Deployment 接下來使用 Deployment 控制器來部署 Pod，這個 Pod 中包含了業務容器和 Filebeat 服務容器。yaml 檔案內容如下： ```yaml --- apiVersion: apps/v1 kind: Deployment metadata: name: smc-gateway namespace: ns-smc-gateway labels: app: smc-gateway spec: replicas: 1 selector: matchLabels: app: smc-gateway template: metadata: name: smc-gateway labels: app: smc-gateway spec: imagePullSecrets: - name: harbor-secret containers: - name: smc-gateway-for-test # 業務容器的名稱 image: 10.16.12.204/smc-gateway/smc-gateway:1.1 # 業務容器映象的私服下載地址 imagePullPolicy: Always env: # 需要傳入到業務容器中的環境變數，在服務啟動的時候呼叫 - name: data_center value: bx - name: server_mode value: test volumeMounts: # 指定業務日誌在容器中輸出的目錄 - name: logdata mountPath: /opt/logs - name: filebeat-for-smc-gateway # 指定 Filebeat 容器的名稱 image: docker.elastic.co/beats/filebeat:7.3.0 # filebeat 映象下載地址，這裡使用的官方映象倉庫 args: [ # 指定服務啟動時的引數 "-c", "/opt/filebeat/filebeat.yml", # 注意這裡，檔案的路徑和名稱要和 Configmap 傳入的路徑和名稱一致 "-e", ] env: - name: POD_IP # 這裡是將 pod 的 IP 地址賦值給這個變數傳入容器中，便於後面 Filebeat 在日誌中新增自定義的欄位資訊 valueFrom: fieldRef: apiVersion: v1 fieldPath: status.podIP - name: pod_name # 這裡是將 pod 的名稱賦值給這個變數，便於後面 Filebeat 在日誌中新增自定義的欄位資訊 valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name securityContext: # 這裡用於設定 Pod 的安全上下文 runAsUser: 0 # 指定容器內的服務以 ID 為 0 的使用者執行（也就是root） volumeMounts: - name: config # 指定 filebeat 配置檔案要掛載的路徑 mountPath: /opt/filebeat/ - name: logdata # 指定卷的名稱，這個名稱要和前面業務容器指定的日誌路徑的卷名稱一致，這樣後面才會掛載同一個 emptyDir mountPath: /opt/logs/ # 指定要將業務的日誌掛載在 filebeat 容器中的路徑，這個路徑要和 Configmap 中指定的日誌路徑一致 volumes: - name: logdata # 為前面宣告名稱為 logdata 的卷掛載一個 emptyDir 卷(filebeat 和業務容器都會掛載這個卷) emptyDir: {} - name: config # 為前面宣告名稱為 config 的卷（filebeat 配置檔案）掛載一個 configmap，並指定configmap 的名稱 configMap: name: filebeat-config items: - key: filebeat.yml path: filebeat.yml ``` 需要注意的是，使用 SideCar 模式收集容器日誌實現的本質，就是將業務容器內的日誌路徑儲存到本地宿主機的一個目錄下，然後這個目錄也會同時掛載到日誌收集服務容器中，這樣日誌收集服務才可以讀取到業務的日誌。 所以上面的 yaml 檔案中，首先業務容器的日誌目錄宣告為一個卷，並命名為 logdata。而下面的 Filebeat 容器中也聲明瞭一個 logdata 的卷。由於這兩個卷名稱一樣，所以這兩個卷掛載是同一個 emptyDir。也就實現了在 Filebeat 容器中讀取業務日誌的目的。當然使用 emptyDir 將容器中的日誌儲存到宿主機本地並不是持久化儲存，emptyDir 會隨著容器的刪除而銷燬。 ### 四、建立 Service 將業務容器的 8080 埠暴露出去，yaml 檔案內容如下： ```yaml --- apiVersion: v1 kind: Service metadata: name: smc-service labels: app: smc-service namespace: ns-smc-gateway spec: ports: - port: 8080 targetPort: 8080 nodePort: 30378 selector: app: smc-gateway type: NodePort ``` ### 五、驗證 將以上 yaml 檔案執行後，會在 ns-smc-gateway 名稱空間下建立一個 Pod，這個 Pod 中包含兩個容器。 ```bash [@k8s-master2 ~]# kubectl get pods -n ns-smc-gateway NAME READY STATUS RESTARTS AGE smc-gateway-fcf598c4b-wphhr 2/2 Running 0 150m [@k8s-master2 ~]# kubectl describe pod smc-gateway-fcf598c4b-wphhr -n ns-smc-gateway | grep -B1 "Container ID" smc-gateway-for-test: Container ID: docker://3711e3a5bc8fafc94ea174578c0a79774f5b25c7eae6c7aa47759e513645f221 -- filebeat-for-smc-gateway: Container ID: docker://1b87242cdf8632edc1bea2fe23910f68c2d5da0254163b123bfc414829f7bea7 ``` 此時到 Kibana 中的索引管理中，會看到已經新增了兩個業務索引，配置對應的索引模式後，就可以在 Kibana 中看到對應的