本文是根据上一篇文章拓展的，观看时请结合上一篇文章：容器部署企业级日志分析平台ELK7.10.1（Elasisearch Filebeat Redis Logstash Kibana）
- 验证1：
当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志大小时，Filebeat在采集时是不会采集超过限制大小的日志的。
准备Nginx日志
代码语言：javascript复制[root@es-master21 ~]# ll -h /var/log/nginx/
总用量 69M
-rwxr-xr-x. 1 root root 68M 12月 13 15:15 access.log
-rwxr-xr-x. 1 root root 1.8M 12月 7 23:09 error.log
可以看到目前 /var/log/nginx/ 目录下的 access.log 日志文件大小是68M，而 error.log 日志文件大小是1.8M。
搭建Filebeat
注意： Filebeat要采集的日志目录必须挂载至Filebeat容器中，不然可能无法正常采集。
代码语言：javascript复制[root@es-master21 ~]# mkdir -p /mnt/filebeat/
[root@es-master21 ~]# cd /mnt/
[root@es-master21 mnt]# vim docker-compose.yml
......
......
filebeat:
image: store/elastic/filebeat:7.10.1 #镜像依然选择与elk的版本一致
container_name: filebeat
restart: always
volumes:
- /var/log/nginx/:/var/log/nginx #filebeat需要采集的nginx日志目录（必须要挂载至容器中）
- /mnt/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro #filebeat的配置文件
- /etc/localtime:/etc/localtime
编写filebeat.yml文件
代码语言：javascript复制[root@es-master21 mnt]# cd filebeat/
[root@es-master21 filebeat]# vim filebeat.yml （使用时删除文件中带#的配置项，不然yml文件格式不对）
filebeat.inputs: #inputs为复数，表名type可以有多个
- type: log #输入类型
access:
enabled: true #启用这个type配置
max_bytes: 20480 #单条日志的大小限制,建议限制(默认为10M,上面的设置表示超过20M就不会采集了)
paths:
- /var/log/nginx/access.log #监控nginx的access日志，建议采集日志时先采集单一nginx的access日志。
fields: #额外的字段（表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-access-21，用来在logstash的output输出到elasticsearch中判断日志的来源，从而建立相应的索引，也方便后期再Kibana中查看筛选数据，结尾有图）
source: nginx-access-21
- type: log
access:
enabled: true
paths:
- /var/log/nginx/error.log
fields:
source: nginx-error-21 #额外的字段（表示在filebeat收集Nginx的日志中多增加一个字段source,其值是nginx-error-21，用来在logstash的output输出到elasticsearch中判断日志的来源，从而建立相应的索引，也方便后期再Kibana中查看筛选数据，结尾有图）
setup.ilm.enabled: false
output.redis: #输出到redis
hosts: ["192.168.1.21:6379"] #redis地址及端口
password: "123456" #redis密码
db: 0 #redis的库
key: "nginx_log" #定义输入到redis的key名
[root@es-node22 mnt]# docker-compose -f docker-compose.yml up -d
[root@es-master21 mnt]# docker-compose ps
Name Command State Ports
---------------------------------------------------------------------------------------------------------
elasticsearch /tini -- /usr/local/bin/do ... Up 0.0.0.0:9200->9200/tcp,:::9200->9200/tcp,
0.0.0.0:9300->9300/tcp,:::9300->9300/tcp
elasticsearch-head /bin/sh -c grunt server Up 0.0.0.0:9100->9100/tcp,:::9100->9100/tcp
filebeat /usr/local/bin/docker-entr ... Up
kibana /usr/local/bin/dumb-init - ... Up 0.0.0.0:5601->5601/tcp,:::5601->5601/tcp
logstash /usr/local/bin/docker-entr ... Up 0.0.0.0:5044->5044/tcp,:::5044->5044/tcp,
9600/tcp
redis docker-entrypoint.sh redis ... Up 0.0.0.0:6379->6379/tcp,:::6379->6379/tcp
注意： 由于我们在filebeat.yml文件中限制了Filebeat要采集的日志大小最大不超过20M，所以在Filebeat采集日志时是不会采集access.log日志的。
验证1：
1.查看error.log日志文件行数
[root@es-master21 mnt]# cat /var/log/nginx/error.log | wc -l
7166
2.查看Redis中由Filebeat采集后写进来的nginx日志数据
[root@es-master21 mnt]# docker exec -it redis bash
root@d5a4be90c7f6:/# redis-cli -h 192.168.1.21
192.168.1.21:6379> AUTH 123456
OK
192.168.1.21:6379> SELECT 0
OK
192.168.1.21:6379> KEYS * #创建的key为nginx_log
1) "nginx_log"
192.168.1.21:6379> LLEN nginx_log
(integer) 7166 #可以看到redis的nginx_log中有7166条数据未被消费
可以看到在Redis中只有7167条数据被写入，说明Filebeat只采集了error.log的日志数据。
3.查看Logstash日志，输出从Redis消费并处理的日志数据
[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash | "message" => 2021/10/21 15:27:19 [error] 27216#0: *357254 open() "/usr/local/nginx/html/dist/.well-known/security.txt" failed (2: No such file or directory), client: 11.64.24.136, server: localhost, request: "GET /.well-known/security.txt HTTP/1.1", host: "32.91.142.93", referrer: "http://32.91.142.93/.well-known/security.txt"
logstash | }
logstash | {
logstash | "log" => {
logstash | "file" => {
logstash | "path" => "/var/log/nginx/error.log" #可以看到采集的日志为error.log
logstash | },
logstash | "offset" => 1863165
logstash | },
logstash | "@timestamp" => 2021-12-27T09:22:37.192Z,
logstash | "host" => {
logstash | "name" => "7fddb131a96b"
logstash | },
logstash | "fields" => {
logstash | "source" => "nginx-error-21"
logstash | },
logstash | "@version" => "1",
logstash | "input" => {
logstash | "type" => "log"
logstash | },
logstash | "ecs" => {
logstash | "version" => "1.6.0"
logstash | },
logstash | "agent" => {
logstash | "hostname" => "7fddb131a96b",
logstash | "version" => "7.10.1",
logstash | "name" => "7fddb131a96b",
logstash | "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash | "type" => "filebeat",
logstash | "ephemeral_id" => "76ec6bc4-39e9-4364-94fb-20f0a7f49122"
logstash | },
......
......
4.查看Elasticsearch集群中由Logstash写入了多少条日志数据
5.访问Kibana并创建索引模式，展示ES中的Nginx日志数据
结论：
当我们的Nginx日志文件大小超过在filebeat.yml文件中限制的日志最大值时，Filebeat在采集日志时是不会采集超过限制大小的日志文件的。
- 验证2：
将Nginx的access.log日志切割一部分，让其小于filebeat.yml文件中限制的20M，再验证采集结果。
1.切割access.log日志文件
由于是测试，我就直接将access.log日志备份后删除部分内容，让其小于20M。（推荐用脚本和信号对Nginx日志进行自动切割）
代码语言：javascript复制[root@es-master21 mnt]# ll -h /var/log/nginx/
总用量 19M
-rwxr-xr-x. 1 root root 17M 12月 30 09:09 access.log
-rwxr-xr-x. 1 root root 1.8M 12月 30 08:58 error.log
2.查看Logstash日志，输出从Redis消费并处理的日志数据
[root@es-master21 mnt]# docker-compose logs -f logstash
...
...
logstash | "message" => "42.75.14.10 - - [06/Aug/2021:07:16:41 0800] "HEAD /\xD7\xEE\xD0\xC2.txt HTTP/1.1" 301 0 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)""
logstash | }
logstash | {
logstash | "log" => {
logstash | "file" => {
logstash | "path" => "/var/log/nginx/access.log"
logstash | },
logstash | "offset" => 61173368
logstash | },
logstash | "@timestamp" => 2021-12-30T01:08:23.839Z,
logstash | "host" => {
logstash | "name" => "7fddb131a96b"
logstash | },
logstash | "fields" => {
logstash | "source" => "nginx-access-21"
logstash | },
logstash | "@version" => "1",
logstash | "input" => {
logstash | "type" => "log"
logstash | },
logstash | "agent" => {
logstash | "hostname" => "7fddb131a96b",
logstash | "version" => "7.10.1",
logstash | "name" => "7fddb131a96b",
logstash | "id" => "95b7e319-228c-4eed-b9c8-26fad0c59d3b",
logstash | "type" => "filebeat",
logstash | "ephemeral_id" => "2d9ae3f6-e506-4332-a986-dff8b4aa5e47"
logstash | },
logstash | "ecs" => {
logstash | "version" => "1.6.0"
logstash | },
3.查看Elasticsearch集群中由Logstash写入了多少条日志数据
4.访问Kibana并创建索引模式，展示ES中的Nginx日志数据
结论：
在我们将Nginx的access.log日志切割一部分，让其小于filebeat.yml文件中限制的20M后，Filebeat马上就开始采集并写入Redis中供Logstash消费，然后再写入ES集群中，最后由Kibana展示出来。
