最新 最热

Kafka - 3.x Kafka消费者不完全指北

这个工作流程涵盖了Kafka消费者从配置到数据处理再到资源管理的主要步骤。消费者通常是多线程或多进程的,以处理大量的消息,并能够根据需要调整消费速率。此外,Kafka的消费者库提供了很多功能,如自动负载均衡、自动偏移管...

2023-10-31
0

Kafka - 3.x 文件存储不完全指北

Kafka是一个分布式流处理平台,它使用发布-订阅模型来处理消息流。Kafka的数据存储机制主要涉及到以下几个关键组件:Topics(主题)、Partitions(分区)和Segments(段)。...

2023-10-29
0

Kafka - 3.x 副本不完全指北

kafka集群中有一个broker的Controller会被选举为Controller Leader,负责管理集群broker的上下线、所有的topic的分区副本分配和Leader选举等工作。

2023-10-29
0

Kafka - 3.x 图解Broker总体工作流程

腾讯云开发者社区是腾讯云官方开发者社区,致力于打造开发者的技术分享型社区。提供专栏,问答,沙龙等产品和服务,汇聚海量精品云计算使用和开发经验,致力于帮助开发者快速成长与发展,营造开放的云计算技术生态圈。...

2023-10-29
0

Kafka - 3.x Producer 生产者最佳实践

对于某些不太重要的数据,对数据的可靠性要求不是很高,能够容忍数据的少量丢失,所以没必要等ISR中的follower全部接收成功。 所以Kafka为用户提供了三种可靠性级别,用户根据对可靠性和延迟的要求进行权衡,选择以下的配置...

2023-10-28
0

Kafka - 3.x Kafka 生产者分区技巧全面指北

消息在通过 send()方法发往 broker 的过程中,有可能需要经过拦截器(Interceptor)、序列化器(Serializer)和分区器(Partitioner)的一系列作用之后才能被真正地发往 broker。拦截器一般不是必需的,而序列化器是必需的。消息经过...

2023-10-28
0

Kafka - 异步/同步发送API

该方法有两个参数分别是RecordMetadata(元数据信息)和Exception(异常信息)。

2023-10-27
0

Kafka - 图解生产者消息发送流程

在消息发送的过程中,涉及到了两个线程:main线程和Sender线程,以及一个线程共享变量:RecordAccumulator。

2023-10-27
0

Kafka - TimeoutException: Expiring 1 record(s) for art-0:120001 ms has passed since batch creation

不关闭防火墙,但是建议本机防火墙开放特定端口,可以使用如下命令 (使用root账户)

2023-10-27
1

Kafka - 3.x Kafka命令行操作

这些参数是用于操作和管理Apache Kafka主题的命令行工具参数,通常用于kafka-topics.sh工具。以下是每个参数的描述:

2023-10-27
1