我们团队负责维护的Kafka集群承载了公司大部分实时数据的收集与传输任务。然而，目前存在一些问题，严重影响了集群的稳定性、用户体验以及管理员的运维效率：...

这里的命令以kafka2.2之后版本进行说明，社区推荐命令指定 --bootstrap-server参数，受kafka安全认证体系的约束，如果使用 --zookeeper 会绕过 Kafka 的安全体系。...

前阵子团队里出了个大故障，本质是因为其他语言实现的client有问题，非常频繁的请求大量元数据，而Kafka服务端这边也没有做什么限制，导致Kafka Broker宕了。...

kafka作为消息队列中重要一员的存在，它在大数据处理、日志记录等领域有着广泛的应用，本篇文章着手讲述kafka在底层架构上面为何会在2.8版本后弃用ZooKeeper作为中间件。...

随着企业对实时流数据的处理要求越来越高，很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中，再通过ETL对kafka中的数据进行消费通过ETL强大的数据的转换、清洗功能来进行数据的集成与分发。...

Kafka事务实际上引入了原子多分区写入的概念，Federico Valeri播客画了以下流程图，展示了事务在分区级别如何工作。

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台，用于构建实时数据管道和流应用。在 Kafka 中，消费者负责从 Kafka 集群中读取消息。本文将详细演示 Kafka 消费者 API 的使用，包括配置、消息消费、错误处理和性...

在7月18号，我用了一个故事作为案例，介绍了消息队列的基本功能和应用场景。本打算第二天介绍消息队列的主要功能特性的，由于文章排期等其他因素影响，故更新搁置了。...

大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以...

昨天发了一条朋友圈：酒吧有什么好去的，上个月在酒吧当服务员兼职，一位大姐看上了我，说一个月给我 10 万，要我陪她去上海，我没同意

这里不做过多的原理的讲解，直接讲部署搭建，具体原理性的东西，大家可以到kafka的官网去查看，原汁原味更带劲。

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现...

在Kafka中每个主题可以有多个分区，每个分区又可以有多个副本。在这多个副本中，只有一个副本的角色是Leader，而其他副本的角色都是Follower。仅有Leader副本所在的Kafka Broker可以对外提供服务。Follower副本通常不会存...

Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题，而消费者负责订阅主题进行消费。主题可以分为多个分区，一个分区只属于某一个主题。下面为列举了主题和分区的关系：...

Kafka消息系统是一个典型的分布式系统，其组成部分包括：消息生产者（Producer）、消息消费者（Consumer）、消息服务器（Broker）以及分布式协调服务ZooKeeper。一个典型的Kafka消息系统的集群架构如下图所示。...

本文将详细介绍如何在 Spring Boot 项目中整合 Apache Kafka，包括 Kafka 的配置、消息的同步和异步发送。

Kafka 是一个开源的分布式消息队列系统，主要用于处理和传输大量的数据流。通俗来说，它就像一个“邮局”或者“快递公司”，负责在不同的应用程序之间发送和接收信息。...

RabbitMQ和Kafka是两种流行的消息传递系统，它们在多个方面存在显著的差异。

随着平台Kafka的对接客户越来越多，我发现很多人只知道Kafka Topic可以根据设置保存大小和保存时间触发数据清理机制，但是并不熟悉Kafka Topic另一种清理策略compact。遂有此文，本文主要介绍compact原理、相关配置、实践...

不需要朋友之间跳过即可！应用开发 这里一般公司中，都会有专业的运维人员来进行搭建，个人学习就顺手学习了整理了笔记！ 适合个人学习搭建

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台，用于构建实时数据管道和流应用。在 Kafka 中，生产者负责将消息发布到 Kafka 集群。本文将详细演示 Kafka 生产者 API 的使用，包括配置、消息发送、错误处理和性...

Apache Kafka 是一个分布式流处理平台，主要用于实时数据的传输和处理。在现代的数据密集型应用中，事务性保证在数据传输和处理中的作用至关重要。本文将详细介绍 Kafka 的事务性支持，包括其基本概念、架构、使用方法以及...

随着大数据技术的飞速发展，Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，随着业务的扩展和技术的发展，企业面临着不断增加的存储成本和运维复杂性问题。为了更好地...

是的，你没有看错。AutoMQ1 当前已经支持完全构建于像 S3 这样的对象存储之上。你可以参考快速上手3 即刻开始体验。AutoMQ 在已有的流存储引擎之上仅仅通过对顶层 WAL 的抽象进行拓展实现少量代码即可做到一些友商引以...

一、通过Producer API发送到kafka中的【topicHW】 注：topic自行创建 二、创建一个Consumer API程序，对kafka集群中的【topicHW】进行消费。 处理消费到的数据，将消费到的数据发送到另外一个名为topicDEAL 的topic中 ，要求...