简介
ELK=elasticsearch logstash kibana, 常作为大型分布式系统的日志分析收集处理的解决方案
- ElasticSearch是一个基于Lucene的搜索服务器. 它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,是一种流行的企业级搜索引擎.
- logstash是一个用于日志搜集, 分析, 过滤的工具. client端一般部署在用于搜集日志的主机上, server端负责将接收的到日志进行过滤, 然后转发到elasticsearch上.
- kibana是一个用于汇总分析和搜索日志的工具, 可以为elasticsearch和logstash提供友好的日志分析的web界面.
三者之间的关系如下所示:
搭建
搭建前提
- 腾讯云服务器(1核2G都可以) or 其它类型的服务器 or 虚拟机
- 安装Docker服务 ( 点击查看详细安装步骤 )
- 在防火墙以及安全组中开放5044, 9200, 5601端口
搭建步骤
服务器/虚拟机配置
安装配置elk镜像
项目整合
kibana使用
查看日志
使用技巧
- 使用关键字查询 日志中出现的所有关键字都能够通过这个搜索到 => 可以用来搜索含有关键字的日志
- 使用属性去查询 在Discover页面的左边的Available fields中, 如果想要过滤耨个属性, 则点击属性右侧的 “ ”, 可以结合步骤一进行更细致的查询
属性过滤后的页面( 可以使用多个属性进行过滤展示 )
- 通过使用日期对格式进行过滤 可以自定义也可以使用系统定义好的时间段, 方便我们按时间进行查看
后续如果有新东西get到了, 会继续补充哦, 觉得不错就点个赞吧~~~
docker elk安装ik中文分词器
在github上下载和es版本匹配的ik中文分词器 https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.10.0
代码语言:javascript复制# 创建目录
mkdir elasticsearch-analysis-ik-7.10.0
# 复制插件
cp elasticsearch-analysis-ik-7.10.0.zip elasticsearch-analysis-ik-7.10.0
cd elasticsearch-analysis-ik-7.10.0/
#解压
unzip elasticsearch-analysis-ik-7.10.0.zip
# 复制到docker elasticsearch上,elk为容器的名称
docker cp elasticsearch-analysis-ik-7.10.0 elk:/opt/elasticsearch/plugins
# 重启elk容器
docker restart elk
测试中文分词器 访问kibana的dev tools工具栏 , 输入下面内容测试
参考博客
https://zhuanlan.zhihu.com/p/107346014?from_voters_page=true
https://www.cnblogs.com/xiao987334176/p/13565790.html
https://blog.csdn.net/abc8125/article/details/106858862
https://blog.csdn.net/github_38924695/article/details/105348442