ES09# Filebeat配置项及吞吐调优项梳理

type

取值log或者filestream，7.16.0以后log声明为废弃

enabled

是否开启，默认关闭

paths

抓取的日志文件配置，例如：- /var/log/*.log

encoding

读取使用的编码，默认为plain，可选utf-8、gbk等

exclude_lines

读取文件时丢掉哪些行，默认没有丢弃。例如：['^DBG'] 排除以DBG开头的行

include_lines

指定需要读取的行，默认所有行均会读取。例如：['^ERR', '^WARN']读取以ERR和WARN开头的行

exclude_files

排除哪些文件不采集，例如：['.gz$']排除.gz结尾的文件

file_identity.native

判断两个文件是否相同，默认使用inode和device id

fields

在输出的每条日志增加额外的信息，默认会在fields新建子目录

fields_under_root

表示新增的字段fields为顶级目录

keep_null

是否在事件中发布具有null的字段，默认false

publisher_pipeline.disable_host

是否禁止设置host.name，默认false

ignore_older

超过指定时间段未更新的文件将被忽略，例如：2h，日志文件修改时间超过2h将被filebeat忽略；默认为0，不忽略任何文件

scan_frequency

监测新文件产生的频率，默认为10s

harvester_buffer_size

单个文件采集器harvester每次使用缓存区的大小，也就是读取文件的大小；默认为16KB；提高吞吐的调优项

max_bytes

限制一条日志的大小，超出部分将被丢弃，默认为10M

line_terminator

行的分割符，默认auto

recursive_glob.enabled

扩展"**"的文件递归模式，默认开启

json.message_key

可选设置，用于在行过滤和多行合并时指定json key，需json对象中顶层字符串

json.keys_under_root

默认false，json解码后以”json“为key，设置为true，该key将被设置为顶级

json.overwrite_keys

默认false，设置为true，keys_under_root开启的情况下，解码后的json字段将覆盖Filebeat字段

json.expand_keys

默认false，设置为true递归去点。例如：{"a.b.c": 123}转换为{"a":{"b":{"c":123}}}

json.add_error_key

默认false，设置为true，如果json编译失败将添加错误key"error.message" 和 "error.key: json"。

multiline.pattern

多行合并可以讲堆栈信息合并成一条发送，此配置未多行合并正则表达式。例如：'^[[:space:]]' 将空格开头的合并发送

multiline.negate

默认false，是否定义否定模式，上面的正则表达式语义相反

multiline.match

默认after，多行合并一行事件的模式。可选after和before

multiline.max_lines

多行合并中的最大行数，超过该设置将被丢弃。默认为500

multiline.timeout

多行合并模式匹配中，一次合并的超时时间，默认为5秒

tail_files

默认false从头读取新文件，设置为true从尾部读取新文件

symlinks

默认false，不处理常规文件的符号链接。

backoff

默认1秒，Filebeat检测到EOF后，再次检查文件时的等待时间

max_backoff

默认10秒，Filebeat检测到EOF后，再次检查文件时的等待最长时间

backoff_factor

默认2，等待时间系数，表示每次等待时间是上一次的两倍，最长默认为10秒

harvester_limit

默认0，没有限制。用于限制一个input中harvester的启动数量

close_eof

默认false，当读到文件末尾harvester会继续工作不关闭，true表示读到文件末尾后结束

close_inactive

当close_eof为false时有效，表示多长时间没消息时harvester退出

close_renamed

默认false，文件更名（日志文件轮替）时不退出

close_removed

默认true，表示文件被删除时harvester停止工作

clean_inactive

默认0，被禁用。当文件修改时间超过clean_inactive，registry的state将被移除

clean_removed

默认true，从registry移除不存在的日志文件

close_timeout

默认0，不限制。harvester每次读取文件的超时时间。

filebeat.registry.path

Registry数据存储路径，默认${path.data}/registry

filebeat.registry.file_permissions

registry文件权限，默认0600

filebeat.registry.flush

控制registry entries刷盘的频率，默认为1秒

filebeat.shutdown_timeout

默认为0，不等待。filebeat等待publisher关闭的时长

name

filebeat指定名字，默认为hostname

tags

给每条日志加标签，便于过滤

fields

给每条日志加字段，保存在fields字段中

fields_under_root

默认false，是否将fields的字段保存为顶级字段

timestamp.precision

filebeat时间戳精度，默认millisecond

queue

存储事件的内部缓存队列，当队列中事件达到最大值，input将不能想queue中写入数据，直到output将数据从队列拿出去消费。

mem.events

内部缓存队列queue最大事件数，默认为4096

flush.min_events

queue中的最小事件，达到后将被发送给output，默认为2048

flush.timeout

定时刷新queue中的事件到output中，默认为1s

output.kafka

输出类型为kafka

hosts

kafka集群broker地址

topic

用于生成事件的kafka主题

key

kafka的事件key，需唯一，默认不生成

partition.hash

发送到kafka分区的策略，默认通过key has，未设置key则随机

reachable_only

默认false，设置为true则发送到kafka 可用的 leaders分区

metadata.retry.max

Leader选举元数据请求的重试最大次数

metadata.retry.backoff

Leader选举期间重试的时间间隔，默认为250ms

metadata.refresh_frequency

元数据刷新频率，默认为10分钟

worker

并发负载均衡 Kafka output workers的数量，默认为1

max_retries

发布失败后的重试次数，默认为3

backoff.init

当发送kafka发生网络错误，经过多久重新发送，默认1秒

backoff.max

发生网络错误后会重试，每次递增直到最大值后丢弃，默认最大值为60s

bulk_max_size

单次kafka request请求批量的消息数量，默认2048

bulk_flush_frequency

批量发送kafka request需要等待的时间，默认0不等待，与linger.ms功能相同

timeout

等待broker返回的超时时间，默认30s

required_acks

kafka broker的确认机制，1:leader确认，0:无需确认，-1:所有broker确认