最新 最热

2021年大数据Spark(五十一):Structured Streaming 物联网设备数据分析

在物联网时代,大量的感知器每天都在收集并产生着涉及各个领域的数据。物联网提供源源不断的数据流,使实时数据分析成为分析数据的理想工具。

2021-10-11
0

2021年大数据Spark(二十一):Spark Core案例-SogouQ日志分析

使用搜狗实验室提供【用户查询日志(SogouQ)】数据,使用Spark框架,将数据封装到RDD中进行业务数据处理分析。数据网址:http://www.sogou.com/labs/resource/q.php

2021-10-09
1

滴滴 x StarRocks:极速多维分析创造更大的业务价值

滴滴集团作为生活服务领域的头部企业,正在全面测试和上线StarRocks,其中橙心优选经过一年多的数据体系建设,我们逐渐将一部分需要实时交互查询、即席查询的多维数据分析需求由ClickHouse迁移到了StarRocks中,StarRocks在...

2021-09-29
0

提高CI/CD可观察性的4 个最佳实践

可观察性是DevOps团队的重要组成部分,它可以帮助组织从系统的输出信息,推断系统内部状态。它是一个持续的过程,从你的CI/CD流水线开始,并贯穿于应用程序的整个生命周期。...

2021-09-27
0

Kafka —— 弥合日志系统和消息队列的鸿沟

Kafka (该论文发表于 2011 年 6 月 [1])是日志处理和消息队列系统的集大成者。较低的延迟、极高的容量和吞吐,使其可以应用于在线服务和离线业务。为了兼顾性能和可扩展性,Kafka 做了一些看起来反直觉但是却很实用的设计...

2021-09-26
0

学习了解PHP中的SeasLog日志扩展

今天来学习的扩展是和日志相关的一个扩展,对于 PHP 的日志应用来说,除了本身自带的 error_log() 、 syslog() 之外,在大多数的框架中还会经常见到 monolog 的踪影。当然,我们今天讲的并不是 monolog ,而是需要自己安装的一...

2021-09-24
0

通过filebeat采集日志到logstash再送到ES

首先得安装 logstash ,安装完后在logstash的安装目录下新建vi filebeat-pipeline.conf filebeat-pipeline.conf的具体配置如下:

2021-09-24
0

Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统

随着时间的积累,日志数据会越来越多,当你需要查看并分析庞杂的日志数据时,可通过 Filebeat+Kafka+Logstash+Elasticsearch 采集日志数据到Elasticsearch(简称ES)中,并通过 Kibana 进行可视化展示与分析。...

2021-09-23
0

数据仓库(基础篇)——基于维度建模思想

本文来源于A94大佬的关于数据仓库分享,如果感兴趣兴趣可以登录B站自行查看,在此给出链接地址:857数据交流技术峰会之数仓篇

2021-09-23
0

五万字 | Flink知识体系保姆级总结

一、Flink简介二、Flink 部署及启动三、Flink 运行架构四、Flink 算子大全五、流处理中的 Time 与 Window六、Flink 状态管理七、Flink 容错八、Flink SQL九、Flink CEP十、Flink CDC十一、基于 Flink 构建全场景实时...

2021-09-22
0