背景

針對K8S日誌採集存在的採集目標多、彈性伸縮難、運維成本大、侵入性高、採集效能低等問題，在18年2月份日誌服務和容器服務團隊一起釋出了阿里雲Kubernetes日誌解決方案。1分鐘內即可完成整個叢集部署，實現該節點上宿主機日誌、容器日誌、容器stdout等所有資料來源的一站式採集。並且後續叢集動態伸縮無需對採集做任何二次部署。

• 極致部署體驗：只需一條命令一個引數即可完成整個K8S叢集的日誌解決方案部署。
• 支援更多配置方式：除原生控制檯、SDK配置方式外，支援通過CRD方式進行配置（kubectl、控制檯、K8S openapi）。
• K8S無縫整合：採集配置支援yaml方式部署，相容K8S各種整合方式。

日誌服務介紹

阿里雲的日誌服務（log service）是針對日誌類資料的一站式服務，2013年研發，有5年多線上執行經驗，經歷雙十一、新春紅包等考驗。日誌採集Agent Logtail執行在100W+機器上，為萬級別應用提供服務。主要特點如下：

日誌服務主要包括 實時採集與消費、資料投遞、查詢與實時分析 等功能，接下來我們介紹下如何利用日誌服務進行Kubernetes日誌採集。

Kubernetes日誌採集方案介紹

方案簡介

阿里雲Kubernetes日誌採集方案如上圖所示：

• K8S的每個worker 節點都會執行一個Logtail容器，該容器可採集宿主機以及該宿主機上其他容器的日誌（包括標準輸出和日誌檔案）。
• Logtail以daemon set模式執行，保證每個節點都有一個Logtail容器在執行
• 使用自定義標識機器組，支援叢集動態縮/擴容
• 所有的採集配置支援通過docker lable以及環境變數過濾指定容器
• K8S內部會註冊自定義資源（CRD，CustomResourceDefinition）AliyunLogConfig，並部署alibaba-log-controller
• 支援使用者通過CRD方式或日誌服務控制檯對採集配置進行管理

執行流程

以CRD配置方式為例，內部工作流程如下：

1. 使用者使用kubectl或其他工具應用aliyunlogconfigs CRD配置。
2. alibaba-log-controller監聽到配置更新。
3. alibaba-log-controller根據CRD內容以及服務端狀態，自動向日誌服務提交logstore建立、配置建立以及應用機器組的請求。
4. 以DaemonSet模式執行的Logtail會定期請求配置伺服器，獲取新的或已更新的配置並進行熱載入。
5. Logtail根據配置資訊採集各個容器(POD)上的標準輸出或日誌檔案。
6. 最終Logtail將處理、聚合好的資料傳送到日誌服務。

部署方法

阿里雲Kubernetes使用者只需一條命令即可完成日誌採集部署，命令中只需輸入一個引數。

1. 登入您的阿里雲容器服務Kubernetes的Master節點，如何登入參考SSH訪問叢集。

1. 將下述命令中的${your_k8s_cluster_id}替換為您的Kubernetes叢集id，執行此命令。

原文連結