简介
ELK=elasticsearch logstash kibana, 常作为大型分布式系统的日志分析收集处理的解决方案
- ElasticSearch是一个基于Lucene的搜索服务器. 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，是一种流行的企业级搜索引擎.
- logstash是一个用于日志搜集, 分析, 过滤的工具. client端一般部署在用于搜集日志的主机上, server端负责将接收的到日志进行过滤, 然后转发到elasticsearch上.
- kibana是一个用于汇总分析和搜索日志的工具, 可以为elasticsearch和logstash提供友好的日志分析的web界面.
搭建
搭建前提
- 腾讯云服务器 or 其它类型的服务器
- 安装Docker服务 ( 点击查看详细安装步骤 )
- 在防火墙以及安全组中开放5044, 9200, 5601端口
搭建步骤
服务器配置
1. 设置能够打开的最大文件数
vi /etc/security/limits.conf 增加下述内容。
代码语言：txt复制* soft nofile 65536
* hard nofile 65536 2. 设置es 启动时的线程池最低容量
vi /etc/security/limits.d/20-nproc.conf , 修改下述内容(如果被注释掉了请放开, 非常重要! )
代码语言：txt复制* soft nproc 4096
root soft nproc unlimited 3. 设置一个进程可以拥有的VMA(虚拟内存区域)的数量
vi /etc/sysctl.conf 新增下述内容
代码语言：txt复制vm.max_map_count=655360使用命令，让 sysctl 配置生效 sysctl -p
安装配置ELK镜像
1. Docker安装ELK镜像
代码语言：txt复制docker pull sebp/elk:latest注意: 如何查看docker版本? 只需进入Ddcoker Hub官网, 搜索你需要下载的镜像(图1), 在Tag页找到你需要下载的版本(图2)即可
图1
图22. 运行elk镜像
代码语言：txt复制docker run -d
-e ES_JAVA_OPTS="-Xms256m -Xmx256m"
-p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 -it
--restart=always --name elk2 1f1020bb13d6
注意:
1.根据自己的服务器内存大小分配合适的内存, 这里为期分配了256m的内存(1核2G参考配置)
2. -p用于对需要使用的端口, 在docker容器和服务器端口之间进行映射
3. --restart=always 可以让docker镜像生成的容器实例开机自启( 只要docker服务启动 )
4. 1f1020bb13d6 指的是elk的镜像ID, 可以通过 docker images 命令查看镜像ID3. 查看elk容器启动日志
如果没有错误则可以测试elasticsearch和kibana能否访问
代码语言：txt复制# 查看日志
docker logs -f -t elk
# 查看elasticsearch
http://服务器ip:9200
# 查看kibana
http://服务器ip:5601
查看elasticsearch
查看kibana4. 修改logstash配置
代码语言：txt复制# 进入容器
docker exec -it elk /bin/bash
# 编辑配置文件
vim /etc/logstash/conf.d/02-beats-input.conf 配置文件修改内容
指定5044作为server端的端口, 输出到本地的elasticsearch上, 添加日志的index(方便在kibana上面找到相应日志)
代码语言：txt复制input {
tcp {
port => 5044
codec => json_lines
}
}
output{
elasticsearch {
hosts => ["localhost:9200"]
index => "rizhi-log-%{ YYYY.MM.dd}"
}
}5. 退出容器内部, 并重启容器
代码语言：txt复制# 退出容器内部
ctrl p q (ctrl按住的状态下先按p再按q)
# 重启容器
docker restart elk再次测试elasticsearch和kibana能否访问
项目整合
1. 在任意一个Springboot项目中添加logstash插件
代码语言：txt复制<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.1</version>
</dependency>2. 在resource目录下新建一个 lockback.xml 的文件, 用于规定日志格式以及logstash的server端配置
lockback.xml具体配置
代码语言：txt复制<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<contextName>ProviderLog</contextName>
<!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径-->
<!--本工程中没使用文件输出日志，只用了console和logstash，此处配置无用-->
<property name="LOG_HOME" value="home" />
<!--可以手动指定log名字-->
<property name="appName" value="wdnmdService" />
<!--也可以使用工程的名字-->
<springProperty scope="context" name="springAppName" source="spring.application.name"/>
<springProperty scope="context" name="serverPort" source="server.port"/>
<!-- logstash远程日志配置-->
<appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>logstash所在服务器ip:5044</destination>
<!-- 默认是JSON格式，所以logstash中应该配置codec为json_lines-->
<!-- LoggingEventCompositeJsonEncoder是LogstashEncoder的父类，可以使用pattern自定义json的关键字
-->
<encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder" >
<!-- <encoder class="net.logstash.logback.encoder.LogstashEncoder" >-->
<providers>
<!--可以配合LogstashEncoder使用-->
<!-- <timestamp/>-->
<!-- <version/>-->
<!-- <message/>-->
<!-- <loggerName/>-->
<!-- <threadName/>-->
<!-- <logLevel/>-->
<!-- <callerData/>-->
<timestamp>
<timeZone>UTC</timeZone>
</timestamp>
<pattern>
<pattern>
<!--或者使用"app": "${appName}",-->
<!-- 都是sleuth的，本处没用到-->
<!-- "trace": "%X{X-B3-TraceId:-}",-->
<!-- "span": "%X{X-B3-SpanId:-}",-->
<!-- "parent": "%X{X-B3-ParentSpanId:-}",-->
<!-- "stack_trace": "%exception{10},"-->
{
"app": "${springAppName}_${serverPort}",
"level": "%level",
"thread": "%thread",
"class": "%logger{40}",
"message": "%message"
}
</pattern>
</pattern>
</providers>
</encoder>
</appender>
<!-- 控制台输出 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
</encoder>
</appender>
<!-- 按照每天生成日志文件 -->
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--日志文件输出的文件名-->
<FileNamePattern>${LOG_HOME}/system.log.%d{yyyy-MM-dd}.log</FileNamePattern>
<!--日志文件保留天数-->
<MaxHistory>30</MaxHistory>
</rollingPolicy>
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符-->
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
</encoder>
<!--日志文件最大的大小-->
<triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
<MaxFileSize>10MB</MaxFileSize>
</triggeringPolicy>
</appender>
<!-- 日志输出级别 -->
<root level="INFO">
<appender-ref ref="stash" />
<appender-ref ref="STDOUT" />
<!-- <appender-ref ref="FILE" />-->
</root>
</configuration>3. 在springboot启动类编写测试用接口, 并启动项目, 访问接口 http://localhost:8080/test/测试elk用户
代码语言：txt复制@SpringBootApplication
@RestController
public class DemoApplication {
public static void main(String[] args) {
SpringApplication.run(DemoApplication.class, args);
}
Logger logger = LoggerFactory.getLogger("DemoApplication");
@RequestMapping("/test/{name}")
public String test1(@PathVariable String name){
logger.info("用户名称注册成功66666, 用户名为: " name);
return name "登录成功";
}
}
localhost:8080/test/测试elk用户kibana查看日志
1. 登录kibana, 进入kiban中的management页面,创建索引, 用于接收指定格式日志名称的日志
kiban中的management页面
创建日志索引2. 输入rizhi-log-*去匹配( 会匹配所有以rizhi-log- 开头的日志 )，然后点击下一步，选择@timestamp
创建日志索引过滤格式
选择@timestamp进行全局时间过滤3. 如果出现You'll need to index some data into Elasticsearch before you can create an index pattern或者输入后下一步为灰或者出现No results match your search criteria，这是因为里面没有数据导致的，在命令行输入一个假的数据即可
代码语言：txt复制curl -H "Content-Type: application/json" -XPOST 'http://es所在主机ip:9200/rizhi-log-2021-01-09/test-log' -d '{"code":200,"message":"测试"}'4. 在kibana的web界面中的discover下查看生成的日志
在Descover下查看实时日志参考博客
https://zhuanlan.zhihu.com/p/107346014?from_voters_page=true
https://www.cnblogs.com/xiao987334176/p/13565790.html
https://blog.csdn.net/abc8125/article/details/106858862
https://blog.csdn.net/github_38924695/article/details/105348442
