fluent-bit 按 pod 名生成不同索引

2021-12-06 15:45:31 浏览数 (1)

1. 实现效果

如果 pod 名为 prod，输出索引名为 prod-2021.01.24

EFK 版本：es 7.12, fluent-bit 1.7.5, kibana 7.12

2. 实现方式

读取日志数据中 kubernetes.labels.app 数据，根据该数据直接生产新索引。

fluent-bit 1.7 以上版本通过 output 中 Logstash_Prefix_Key 字段实现输出动态索引名

比如采集日志为

代码语言：javascript复制

 {"key1": 1234, "kubernetes": {"labels: {"app": "prod"}}}

设置下面的 output

代码语言：javascript复制

[OUTPUT]
         name                 es
         match                *
         logstash_format      on
         logstash_prefix_key  $kubernetes['labels']['app']

会生成索引名 prod-2021.01.24

3. 完整配置

代码语言：javascript复制

inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        Parser docker
        Tag kube.*
        Mem_Buf_Limit 5MB
        Skip_Long_Lines On

  ## https://docs.fluentbit.io/manual/pipeline/filters
  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Kube_URL https://kubernetes.default.svc:443
        Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
        Kube_Tag_Prefix     kube.var.log.containers.

  ## https://docs.fluentbit.io/manual/pipeline/outputs
  outputs: |
    [OUTPUT]
        Name es
        Match kube.*
        Host elasticsearch-master
        Logstash_Format On
        Logstash_Prefix log
        logstash_prefix_key  $kubernetes['labels']['app']
        Retry_Limit False
        # Trace_Error On

缺点：

只有 pod name，不能自定义加上 namespace 之类。

参考：

官方说明：https://github.com/fluent/fluent-bit/issues/421#issuecomment-766912018

0 人点赞