最新 最热

Kafka副本机制

副本: 本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义,同一个分区下的所有副本保存有相同的消息序列,这些副本分散保存在不同的 Broker 上,从而能够对抗部分 Broker 宕机带来的数据不可用。...

2023-11-30
1

go: 优雅处理kafka消费退出

在业务中,kafka的消费者服务非常常见。主要流程是从kafka中取出消息,处理消息。

2023-11-30
1

kafka消费者组

消费者组: Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内必然可以有多个消费者或消费者实例(Consumer Instance),它们共享一个公共的 ID,这个 ID 被称为 Group ID...

2023-11-30
1

大数据初识------Flink如何实现Exactly once计算不重不丢

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的事务和生产幂等两个特性来共同实现的

2023-11-28
1

用 Kafka、Spark、Airflow 和 Docker 构建数据流管道指南

在本指南中,我们将深入探讨构建强大的数据管道,用 Kafka 进行数据流处理、Spark 进行处理、Airflow 进行编排、Docker 进行容器化、S3 进行存储,Python 作为主要脚本语言。...

2023-11-27
1

全网最全图解Kafka适用场景

消息系统被用于各种场景,如解耦数据生产者,缓存未处理的消息。Kafka 可作为传统的消息系统的替代者,与传统消息系统相比,kafka有更好的吞吐量、更好的可用性,这有利于处理大规模的消息。...

2023-11-25
1

Kafka-4.1-工作原理综述

Kafka集群将 Record 流存储在称为 Topic 的类中,每个记录由⼀个键、⼀个值和⼀个时间戳组成。

2023-11-20
1

记一次 Python 代码中容错 bug 导致 Kafka 消息数量异常翻倍的 debug 经历

看到云 + 社区发布了「热点技术征文赛第二期」征文活动,决定参与【编程语言】选题赛道,本文属于【项目实战经验分享】

2023-11-19
1

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

--bootstrap-server,连接的Kafka Broker主机名称和端口号。

2023-11-19
0

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

kafka是依靠zookeeper来实现分布式的,所以再启动前需要先启动zookeeper,如下图

2023-11-18
1