最新 最热

实战|Kafka集群升级项目实施,打造高效数据处理平台

我们团队负责维护的Kafka集群承载了公司大部分实时数据的收集与传输任务。然而,目前存在一些问题,严重影响了集群的稳定性、用户体验以及管理员的运维效率:...

2024-10-10
1

Kafka常用命令归纳

这里的命令以kafka2.2之后版本进行说明,社区推荐命令指定 --bootstrap-server参数,受kafka安全认证体系的约束,如果使用 --zookeeper 会绕过 Kafka 的安全体系。...

2024-09-30
1

你说通过Kafka AdminClient获取Lag会有性能问题?尊嘟假嘟0.o

前阵子团队里出了个大故障,本质是因为其他语言实现的client有问题,非常频繁的请求大量元数据,而Kafka服务端这边也没有做什么限制,导致Kafka Broker宕了。...

2024-09-25
1

为什么kafka在2.8版本之后就弃用了ZooKeeper作为注册中心(详解kafka底层架构原理)?

kafka作为消息队列中重要一员的存在,它在大数据处理、日志记录等领域有着广泛的应用,本篇文章着手讲述kafka在底层架构上面为何会在2.8版本后弃用ZooKeeper作为中间件。...

2024-09-15
0

一文说清楚ETL Cloud如何与Kafka如何实现集成

随着企业对实时流数据的处理要求越来越高,很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中,再通过ETL对kafka中的数据进行消费通过ETL强大的数据的转换、清洗功能来进行数据的集成与分发。...

2024-09-14
1

掌握Kafka事务,看这篇就够了

Kafka事务实际上引入了原子多分区写入的概念,Federico Valeri播客画了以下流程图,展示了事务在分区级别如何工作。

2024-09-11
1

Apache Kafka 消费者 API 详解

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台,用于构建实时数据管道和流应用。在 Kafka 中,消费者负责从 Kafka 集群中读取消息。本文将详细演示 Kafka 消费者 API 的使用,包括配置、消息消费、错误处理和性...

2024-09-08
1

一个故事理解消息队列-下

在7月18号,我用了一个故事作为案例,介绍了消息队列的基本功能和应用场景。本打算第二天介绍消息队列的主要功能特性的,由于文章排期等其他因素影响,故更新搁置了。...

2024-09-05
1

【赵渝强老师】大数据生态圈中的组件

大数据体系架构中的组件非常多,每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始,逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件,以...

2024-09-04
1

异源数据同步 → DataX 为什么要支持 kafka?

昨天发了一条朋友圈:酒吧有什么好去的,上个月在酒吧当服务员兼职,一位大姐看上了我,说一个月给我 10 万,要我陪她去上海,我没同意

2024-08-27
1