先简单介绍下我们的使用场景，线上5台Broker节点的kafka承接了所有binlog订阅的数据，用于Flink组件接收数据做数据中台的原始数据。昨儿开发反馈，线上的binlog大量报错，都是kafka的异常，而且都是同一条topic抛的错，特征也很...

最近在弄kafka相关的东东，因为是spring boot工程，所以用到了Spring-kafka，一个包含了kafka-producer和kafka-consumer自动装配的依赖。为了进一步研究spring是如何封装的kafka官方客户端的细节，所以从github上拉到了源码...

昨天博主写了《windows环境下flink入门demo实例》实现了官方提供的最简单的单词计数功能，今天升级下，将数据源从socket流换成生产级的消息队列kafka来完成一样的单词计数功能。本文实现的重点主要有两个部分，一是kafka环...

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低...

消费者提了异步 commit 实际还没更新完offset，消费者再不断地poll，其实会有重复消费的情况？

今天我们通过一篇文章来认识一下常见消息队列RabbitMQ、RocketMQ、Kafka。

首先，我们在做数据开发的过程中涉及到一些基本要素：时效性保障、质量保障、稳定性保障，此外还有敏捷性、可管理性等其他要素。根据公司业务场景和重要性不同，重点也有所侧重。...

分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的...

某个客户在针对生产环境中，对ECIF数据库同步改造为使用kafka进行数据同步后，测试环境也偶尔发生消费数据存在空的问题，当时以为是调度系统间隔太慢，导致数据没有读取到，但是在上线之后，生产存在同样的问题，无法消费消息数据；...

可以看出来 kafka 3系列版本内置了zookeeper，不需要单独运行安装zk