最新 最热

Kettle构建Hadoop ETL实践(四):建立ETL示例模型

从本篇开始,介绍使用Kettle实现Hadoop数据仓库的ETL过程。我们会引入一个典型的订单业务场景作为示例,说明多维模型及其相关ETL技术在Kettle上的具体实现。本篇首先介绍一个小而典型的销售订单示例,描述业务场景,说明示例...

2020-09-08
0

让我们一起揭开Etcd背后Raft算法的面纱

最近在使用K8S过程中,一直用到了一个Key-Value数据库Etcd,每当看到有介绍Etcd的教程时,介绍不多,大多都是独立于K8S集群之外,保存状态数据。再深入百度下,发现Etcd是一个可靠的,分布式的Key Value存储系统,它用于存储分布式...

2020-09-07
1

什么是APM?

APM是指应用程序性能管理或?应用程序性能监控 。您可能会争辩说它们是同一回事,或者也许管理层推断出它们更主动,而仅在应用程序性能方面进行监控。无论哪种方式,APM都是帮助优化和监视应用程序性能的必备...

2020-09-03
0

这款轻量级日志搬运神器,成百上千台服务器产生的日志不在话下

Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tail file),并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日...

2020-09-01
0

graylog日志分析系统上手教程

日志分析系统可以实时收集、分析、监控日志并报警,当然也可以非实时的分析日志。splunk是功能强大且用起来最省心的,但是要收费,免费版有每天500M的限制,超过500M的日志就没法处理了。ELK系统是最常见的,缺点是配置麻烦一...

2020-09-01
0

Spark推荐系统实践

推荐系统是根据用户的行为、兴趣等特征,将用户感兴趣的信息、产品等推荐给用户的系统,它的出现主要是为了解决信息过载和用户无明确需求的问题,根据划分标准的不同,又分很多种类别:...

2020-08-10
0

用户画像基础

导读:在互联网步入大数据时代后,用户行为给企业的产品和服务带来了一系列的改变和重塑,其中最大的变化在于,用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据,这是企业经营活动...

2020-08-06
0

文本智能聚类——千万日志一览无余

【导语】对于海量文本型数据比如日志,如何从中提取日志模式以便更快地从文本中获取关键信息。本文先简单介绍了行业竞品的相关产品形态,然后重点介绍了一种基于机器学习的日志智能聚类解决方案——基于图结构的聚类方法...

2020-07-30
1

Docker 入门到实战教程(十二)ELK+Filebeat搭建日志分析系统

一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志...

2020-07-23
0

springboot2启动信息去除CONDITIONS EVALUATION REPORT后引发的思考

这个日志如果不细看还以为是启动报错,其实这段日志是springboot2的自动装配日志报告。平时我们是不大需要,因此我们可以关闭。关闭的方法也很简单,从控制台打印的日志信息我们可以得知自动装配日志报告是由...

2020-07-15
0