腾讯云ES：一站式配置，TKE容器日志采集与分析就是这么简单！

作者：腾讯云 ES 团队

对于需要采集并分析腾讯云TKE容器日志的场景，可以使用 Filebeat 采集数据，并将采集的数据传输到腾讯云 Elasticsearch 集群中进行存储，如果需要加工与处理，也可以先将数据发送到腾讯云 Logstash 中进行过滤与预处理，再将数据传输到腾讯云 Elasticsearch 集群中，然后在Kibana中对日志数据进行检索与分析。本文介绍如何在腾讯云Elasticsearch Service中配置 Filebeat 采集部署在腾讯云的TKE容器日志，并在Kibana中对日志数据进行检索分析，以及对Pod进行下钻分析。

优势特性

一站式可视化采集配置，轻松两步，即可在腾讯云ES控制台完成TKE容器日志的采集设置。
Pod主动发现，当您增加了新的命名空间或者新部署一个Pod后, 不需要再次修改采集配置，Filebeat将主动发现并采集新的Pod的日志。
高效便捷的数据检索与分析，通过Kibana即可完成日志数据的检索分析，并可对Pod进行下钻分析。

使用限制

腾讯云TKE实例、腾讯云ES集群和Logstash实例，必须在同一VPC下，且腾讯云ES集群和Logstash实例的大版本相同。如果不在同一个VPC，则需要打开ES集群的公网访问，并自己手动部署beats，以及修改相应的配置。

使用步骤

Filebeat采集器配置

1.登录腾讯云Elasticsearch Service控制台，在Beats管理界面，授权服务相关角色，在Filebeat采集器选择TKE日志采集。

2.在创建Filebeat采集器中，设置采集器相关信息。

第一步，选择输出目的：

采集器名称：必填。自定义采集器的名称。
安装版本：必选。支持6.8.21、7.10.2、7.14.0、7.17.1，安装版本需要和采集器输出的大版本相同。
采集器输出：必选。采集的数据支持传送到腾讯云 Elasticsearch 集群与 Logstash 实例，请选择与需采集数据的 TKE 在同一 VPC 下的 ES 集群和 Logstash 实例。不支持输出至开源版 ES 集群。
用户名密码：必填。若选择输出采集数据到开启用户登录认证的 ES 集群，需要填写用户名和密码，使得 Filebeat 有权限向 ES 集群中写入数据。用户名默认为 elastic，密码为集群创建时设置。
启用 Monitoring：可选。勾选后生成监控 Filebeat 的相关指标。当采集器输出为 ES 集群时，Monitoring 默认使用和采集器输出相同的 ES 集群；当采集器输出为 Logstash 实例时，则需要在配置文件中额外添加用于存储监控数据的 ES 集群地址。
启用 Kibana Dashboard：可选。勾选后生成默认的 Kibana Dashboard。

第二步，配置采集来源：

所在私有网络VPC：默认使用上一步采集器输出选择的实例的VPC，且不可更改。
待采集TKE集群ID：必选。需采集的TKE集群的ID，TKE集群需要是运行中状态且为标准集群。
采集配置：可通过点击“添加”来横向增加更多采集配置，上限10个。
采集配置名称：必填。
命名空间：必选。第一个下拉可选择包含/不包含。第二个下拉可选择命名空间，支持多选，不支持选择不包含全部命名空间。
Pod标签：选填。支持创建多个Pod标签，标签之间是逻辑与关系。
容器名称：选填。填写的容器名称必须在采集目标集群及命名空间之下，为空时，Filebeat会采集命名空间下符合Pod标签的全部容器。
写入的索引名称前缀：选填。写入的索引名称前缀将作为ES索引名称的一部分，例如替代filebeat-%{[index]}-%{ yyyy.MM.dd}中的index 。
日志内容过滤：选填。根据关键字过滤日志，可填多个关键字，以逗号分隔。
高级采集配置：选填。个性化设置解析方式、过滤等，一般采用默认配置。

3.单击确定启用后，跳转到 Beats 采集器管理界面，可以查看 Filebeat 采集器运行状态，显示“正常”则表示采集器安装成功。

通过Kibana对日志进行检索分析

在腾讯云ES控制台上配置好Filebeat后，就可以到Kibana对TKE容器日志进行检索分析了：登录Kibana，在首页左侧导航栏，通过Stack Management->Index Patterns路径进入索引模式设置界面，点击creat index pattern，将Index pattern name设为您配置采集设置时输入的写入的索引名称前缀，并根据指示完成后续的配置。