最新 最热

【Kafka专栏 03】Kafka幂等性:为何每条消息都独一无二?

在分布式系统中,消息队列扮演着至关重要的角色,它们为系统提供了异步通信、解耦和缓冲等关键功能。Apache Kafka作为一款高性能的分布式消息队列,广泛应用于各种业务场景中。然而,在使用Kafka时,我们经常会面临消息的重复...

2024-06-12
1

如何完成Kafka和Cassandra的大规模迁移

了解策略和流程,以及一些最佳实践,让任何大规模、关键任务的 Cassandra 和 Kafka 迁移更加顺利。

2024-06-07
2

【Kafka专栏 01】Rebalance漩涡:Kafka消费者如何避免Rebalance问题?

Kafka中的Rebalance是消费者组(Consumer Group)内部的一个重要机制,它指的是消费者实例之间重新分配Topic分区(Partition)的过程。在Kafka集群中,Rebalance是为了确保消费者组能够均匀地消费数据而设计的。然而,这个过程在某...

2024-06-05
1

【夏之以寒-Kafka专栏 01】Kafka的消息是采用Pull模式还是Push模式?

Kafka的消息传递机制主要采用Pull(拉取)模式,但也融合了Push(推送)模式的某些特点。以下是对这两种模式在Kafka中的运用的详细描述:

2024-05-28
1

原理剖析| 一文搞懂 Kafka Producer(上)

今天给大家带来的是 Kafka Producer 的全方位解析(基于 Apache Kafka 3.72)。考虑到篇幅限制,本文分为上下两篇,上篇将介绍 Kafka Producer 的使用方法与实现原理,下篇将介绍 Kafka Producer 的实现细节与常见问题。...

2024-05-27
1

AutoMQ 生态集成 MinIO

a.可以通过设置环境变量来配置 AWS CLI 需要的 Access Key 和 Secret Key。

2024-05-27
1

AutoMQ 生态集成 Apache Doris

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此...

2024-05-27
1

【夏之以寒-kafka专栏 03】 Kafka数据流: 如何构建端到端的高可靠性数据传递

随着大数据和云计算技术的飞速发展,实时数据处理的需求日益增长。在这样的背景下,Kafka以其高吞吐量、低延迟和可靠的消息传递机制,成为了构建实时数据管道和流应用的首选工具。然而,消息的可靠性是Kafka能够广泛应用的关...

2024-05-26
2

【夏之以寒-kafka专栏 02】 Kafka分区策略:高吞吐量背后的算法力量

Kafka的默认分区算法,即DefaultPartitioner,是Kafka生产者发送消息到不同分区时所采用的一种默认策略。该算法主要基于消息的key和主题的分区数,来决定消息应该被发送到哪个分区。...

2024-05-26
1

【夏之以寒-kafka专栏 01】 Kafka核心组件:从Broker到Streams 矩阵式构建实时数据流

Broker:在Kafka中,Broker是Kafka集群中的一个节点,负责处理Kafka中的核心功能。从物理层面来看,Broker可以是单独的一台服务器,也可以是集群中的一个节点。从逻辑层面来看,Broker是Kafka服务端的实现,负责接收生产者发送的消...

2024-05-26
2