Logstash 处理多种格式日志1

2022-01-20 11:01:29 浏览数 (2)

这里定义了两个输入源,分别在不同端口进行监听

关键是 tags => [“nginx_access_log”] ,这是在对自己这个输入源的日志进行打标

然后在处理和输出配置中使用到了 if “nginx_access_log” in [tags] 进行判断,用来分别处理

相关的配置基础可以参考 Configuring Logstash

Tip: /opt/logstash/bin/logstash 命令的 -f 参数指定的可以是一个文件也可以是一个目录,当是一个目录的时候,目录下面的所有配置文件都会被合并成一个conf,然后再被加载 , 在 /etc/init.d/logstash 的启动脚本中有这么一段定义 LS_CONF_DIR=/etc/logstash/conf.d 就是在读取 /etc/logstash/conf.d 目录下的所有文件,作为自己的默认配置


mysql slowlog的filebeat配置

代码语言:javascript复制
[hunter@mysql-slow-log src]$ cat /etc/filebeat/filebeat.yml  | grep -v "#" | grep -v "^$"
filebeat:
  prospectors:
    -
      paths:
        - /var/lib/mysql/mysql-slow-log-slow.log
      input_type: log
      fields:
        testdb: flower
      fields_under_root: true 
  registry_file: /var/lib/filebeat/registry
output:
  logstash:
    hosts: ["logstash-server:5088"]
shipper:
logging:
  files:
[hunter@mysql-slow-log src]$

这里指定了日志路径,类型,添加了一个域并赋值,然后输出到指定的logstash中

相关的配置基础可以参考 Filebeat Configuration Options

Tip: 默认情况下,filebeat是全量读取日志内容,除非打开 tail_files: true,打开后只会读到新追加的内容

0 人点赞