最新 最热

百亿级日志流分析实践 | 剖析个推后效分析功能实现原理

消息推送作为用户促活的有效利器,具有低成本、高效率的明显优势,已成为App运营中最重要的用户触达方式之一。为帮助开发者有策略地提升 消息推送的效果,增加消息的到达率和点击率,个推消息推送SDK于今年初重磅上线了后效...

2022-01-04
0

TKE 用户故事 - 作业帮 PB 级低成本日志检索服务

吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。 莫仁鹏,2020年加入作业帮,作业帮高级架构师,在作业帮期间,推动了作业...

2021-12-29
1

使用fluent bit+ClickHouse 实现K8s日志采集

Fluent bit是一个用C写成的插件式、轻量级、多平台开源日志收集工具。它允许从不同的源收集数据并发送到多个目的地。完全兼容docker和kubernetes生态环境。...

2021-12-28
0

干货 | Elastic Stack 技术栈应用于日志归集深度复盘

注意:ES 数据节点之间维持数据的同步,每个节点会维持一定数量的长链接。这在本地机房的条件下没有什么问题,但是在异地集群的条件下,可能有网络不稳定的情况,远程集群查询也因此有返回500的问题。建议这种情况,可以考虑自建...

2021-12-28
0

Kafka和RocketMQ实现原理对比

既然有了Kafka为什么还会出现RocketMQ?这就不得不提到RocketMQ的诞生动机了,在RocketMQ的官网上面可以找到这个问题答案,原文可以点击此处阅读。实际原因当然是kafka存在一些问...

2021-12-27
0

在 Kubernetes 上搭建 EFK 日志收集系统

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。...

2021-12-23
0

真实案例,手把手教你构建用户画像

某图书电商网站拥有超过千万的网购用户群体,所售各品类图书100余万种。用户在平台上可进行浏览、搜索、收藏、下单、购买等行为。商城的运营需要解决两个问题:...

2021-12-13
0

gRPC: 如何实现分布式日志跟踪?

我们会创建 /api/v1/greeter API 进行验证,同时开启 logging, meta 和 tracing 拦截器以达到目的。

2021-12-13
1

Spring Boot整合ELK 处理为服务日志,妙!

在排查线上异常的过程中,查询日志总是必不可缺的一部分。现今大多采用的微服务架构,日志被分散在不同的机器上,使得日志的查询变得异常困难。工欲善其事,必先利其器。如果此时有一个统一的实时日志分析平台,那可谓是雪中送...

2021-12-08
0

Note_Spark_Day14:Structured Streaming(以结构化方式处理流式数据,底层分析引擎SparkSQL引擎)

连续处理(Continuous Processing)是“真正”的流处理,通过运行一个long-running的operator用来处理数据。

2021-12-07
0