作者：Timothychao
导语 日志服务CLS是腾讯云提供的一站式日志服务平台，提供了日志采集、存储、检索、图表分析、数据加工、日志投递、监控告警、仪表盘可视化等多项服务，协助用户解决业务运维、运营及审计等多种场景问题。
业务背景
随着云计算技术的发展，越来越多的公司开始向业务更敏捷、成本更低、可伸缩、更灵活的云原生架构转变。而在云原生技术栈中，容器已经成为应用分发和交付的标准技术，将应用与底层运行环境进行解耦；其中 Kubernetes 已经成为容器编排的事实标准，被广泛用于自动部署、扩展和管理容器化应用。
在 Kubernetes 容器应用中，日志采集是非常重要的一环。腾讯云日志服务 CLS 针对 Kubernetes 环境下复杂环境的日志采集设计了完善的解决方案，提升了用户日志存储分析的产品体验。
日志采集新挑战
容器环境下的日志采集对比传统的虚拟机或者物理机有很多不同点，也因为容器更轻量、无状态等特性给日志采集带来了更大的挑战：
- 复杂的日志形式：Kubernetes 首先有多样的日志形式，如审计日志、事件日志等；除此以外业务日志还分为两类：stdout 标准输出，文件日志。
- 复杂的动态环境：Kubernetes 环境的弹性伸缩给日志采集带来了很大的困难，传统的采集配置在容器环境缺乏动态匹配的能力，无法精准灵活适配；同时多层级的筛选匹配规则也容易造成偏差和混淆。
- 更高的可靠性要求：在 Kubernetes 中，机器的宕机、下线、上线、Pod 销毁、扩容/缩容等都是常态，需要保证日志采集的高实时性，保障数据不丢失。
- 更高的采集性能要求：一般规格稍大的节点，可能包含几十甚至上百个容器。如何在资源有限的情况下保障大量容器的采集，这也对采集器的性能提出了更高的要求。
- 云原生 Devops 的集成挑战：成熟的云原生架构会在 Kubernetes 上搭建一套 CICD 系统，自动化地完成业务集成和部署，日志作为运维的关键系统也需符合这套流程，但这也造成原有独立系统改造困难。
解决方案
LogListener 是腾讯云日志服务 CLS 提供的日志采集客户端，它按照预设的采集策略实时上报日志数据。
面对容器环境，CLS 在 LogListener 原有的日志采集基础上增加了容器环境交互的组件，共同组成容器采集的 Log-agent，配合完成复杂场景的日志采集。LogListener 具备解决容器环境挑战的多种能力：
- 复杂的日志形式---支持多种采集源 解析方式，满足全部容器日志场景需求；
- 复杂的动态环境---分别针对容器集群、采集端、服务端维护独立组件，并通过 agent 联通组合，保障采集配置的生效和正确更新；
- 更高的可靠性要求---在采集时提前预读文件，实现文件删除场景下持续采集，解决 Pod 销毁后日志漏采问题；
- 更高的采集性能要求---使用多线程版本提升采集性能，满足大集群下的采集性能需求；
- 云原生 Devops 的集成挑战---全步骤支持使用 CRD 配置，将日志服务融入自动化流程。
架构设计
CLS 的日志采集 Agent 会在集群内以 DaemonSet 形式运行，并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式，从采集源进行采集，将日志内容发送到消费端。
（1）CLS 服务端：建立 Log-agent；
（2）Log-agent：监听集群 CRD 和本节点 Pod 并计算采集路径；
（3）LogListener：自研高性能采集器，负责日志采集。
【运作流程】
- 首先需要在 CLS 上创建机器组，对应容器环境内待采集的容器；
- 按照定义的采集配置自动生成 LogListener 配置文件；
- LogListener 加载配置并启动，从 CLS 拉取采集配置；
- 根据业务的变化创建/更新，采集配置 CRD；
- Log-agent 监听到 CRD 变更，根据 CRD 内容向 CLS 请求修改相应的日志主题配置；
- Log-agent 监听 CRD 和本节点 Pod 的变化，动态计算更新采集路径；
- LogListener 根据 CLS 获取的采集配置化，采集相应日志文件内容并解析上传到 CLS。
接入指引
CLS 支持腾讯云容器服务 TKE、弹性容器服务 EKS 和用户自建Kubernetes集群接入，不仅满足了单一容器环境下的日志一站式接入，还帮助混合云用户使用 CLS 进行统一的日志管理。
腾讯云容器服务 TKE/EKS
CLS同时支持通过环境变量和自定义资源（CRD）的方式配置日志采集。
对于腾讯云的容器环境，CLS 支持采集容器/节点/宿主机日志（包括标准输出和文件日志），还默认采集Kubernetes 审计日志和事件日志，并配置默认仪表盘。
1. 容器服务 TKE/EKS 业务日志采集
当使用腾讯容器服务 TKE/EKS 业务日志采集功能时，需在新建日志采集规则时确定采集的目标数据源。
支持“采集标准输出”、“采集容器内文件”及“采集宿主机文件” 3种采集类型。
1. 采集标准输出
“采集标准输出”是将 Pod 内容器日志输出到标准输出，日志内容会由容器运行（Docker 或 Containerd）来管理。
使用标准输出无需挂载额外的 volume，并使用统一的采集规则，较于其他方式最简单便捷。
2. 采集容器内文件
通常业务会使用写日志文件的方式来记录日志，当使用容器运行业务时，日志文件则被写在容器内。
3. 采集宿主机文件
业务侧经常需将日志写入日志文件，需要在容器停止后仍保留原始日志文件作为备份，避免采集异常时日志完全丢失。
此时可以给日志文件路径挂载 hostPath，日志文件会落盘到宿主机指定目录，且容器停止后不会清理日志文件。
【日志采集配置方式】
1. 控制台配置
可以通过控制台实现容器服务采集配置的下发和修改，支持实时修改生效。同时可基于 namespace、pod 以及 container 的多层级筛选，定位具体容器实现采集。
2. CRD 配置
用户不仅可以使用控制台配置日志，还可通过自定义资源定义（CustomResourceDefinitions，CRD）的方式配置日志采集。CRD 可以支持完全同等功能的采集配置，更加便捷高效地满足云原生自动化的管理需求。
用户只需定义 LogConfig CRD 即可创建采集配置，Log-agent 会根据 LogConfig CRD 的变化修改相应的 CLS 日志主题，并设置绑定的机器组。
CRD 的格式如下:
2. 集群审计日志采集
集群审计是基于 Kubernetes Audit 对 kube-apiserver 产生的可配置策略的 JSON 结构日志的记录存储及检索功能。
用户无需其他额外操作，在 TKE 一键开启日志服务后，即可享受日志自动采集上报。系统会默认根据请求记录审计日志并上报到CLS，包含：用户操作数、CRUD 操作分布、资源类型分布、活跃节点、异常访问、操作趋势统计、操作列表等。
同时还提供了开箱即用的事件仪表盘，支持事件全局检索，实现在控制台全面观测、查找、分析、定位问题。
3. 集群事件日志采集
Kubernetes Events 包括 Kuberntes 集群运行及各类资源调度情况，有助于维护人员日常观察资源变更以及定位问题。
TKE 开启日志服务后，会默认根据请求记录时间日志并上报到 CLS，包含：集群事件种类分布统计、异常事件原因统计、节点异常统计、异常事件分布趋势、异常事件列表等。
事件仪表盘示例如下：
非 TKE/EKS 其他 K8S 集群
针对非 TKE/EKS 的其他Kubernetes集群，包括自建或者其他云环境的容器服务， CLS 也提供统一的日志采集解决方案。
只需四步就可以使用日志服务采集其他 Kubernetes 集群的能力，实现混合云日志统一管理的能力：
（1）自建 Kubernetes 集群安装 LogListener；
（2）定义 LogConfig 资源类型；
（3）定义 LogConfig 对象；
（4）创建 LogConfig 对象。
日志采集配置上和腾讯云 TKE/EKS 服务基本一致，支持使用控制台和 CRD 配置采集规则。
结语
腾讯云日志服务 CLS 针对 Kubernetes 环境下复杂环境的日志采集设计了完善的解决方案，支持多种采集源和解析格式，在覆盖更多采集应用场景的同时，部署配置简易，拥有众多预设图表，一键开箱即可用，极大地降低了用户的学习成本和时间成本。另外，用户可通过控制台内嵌的仪表盘页面快速浏览数据，用户体验更佳。
以上就是 CLS 日志采集相关功能的应用实践，感谢阅读！
一站式日志数据解决方案平台加入「腾讯云日志服务CLS技术交流群」，掌握最新动态，获取更多资讯！
