线上部署了ELK+Redis日志分析平台环境, 随着各类日志数据源源不断的收集, 发现过了一段时间之后, ELK查看会原来越慢, 重启elasticsearch服务器节点之前同步时间也会很长,  这是因为长期以来ELK收集的索引没有删除引...

agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。

近几年，互联网生成数据的速度不断递增，为了便于用户能够更快更精准的找到想要的内容，站内搜索或应用内搜索成了不可缺少了的功能之一。同时，企业积累的数据也再不断递增，对海量数据分析处理、可视化的需求也越来越高。...

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志...

一、 除了日志数据，关系数据库中的数据也是数据分析的重要来源。在数据的采集方式上，用Spark实现类 Sqoop 的分布式抓取替代了早期定期用单机全量抓取 MySQL 数据表的方式，有效的提升了抓取速度，突破了单机瓶颈。...

随着腾讯云业务的扩大，母机数量越来越多。为减少人力并实现母机故障的自动化定位，本文尝试利用机器学习算法，通过对历史故障母机的日志数据学习，训练模型实现自动化分析定位母机故障原因。...

前段时间我们分享过玩转Flume+Kafka原来也就那点事儿和Flume-NG源码分析-整体结构及配置载入分析这二篇文章，主要介绍了flume的简单使用和配置文件加载的全过程，那么今天我们重点分析flume核心原理，从而了解Source、Chan...

本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。

flume，版本1.7.0，主要用来从业务系统收集数据以及从jms收集数据。

在发现严重的IT安全事件后，优先考虑的是将其关闭并以经济有效的方式快速恢复。但是，管理层希望找到问题的根源，以便他们有一个下手的方向，但这说起来容易做起来难。...