最新 最热

Apache Kafka 生产者 API 详解

Apache Kafka 是一个高吞吐量、低延迟的分布式流处理平台,用于构建实时数据管道和流应用。在 Kafka 中,生产者负责将消息发布到 Kafka 集群。本文将详细演示 Kafka 生产者 API 的使用,包括配置、消息发送、错误处理和性...

2024-08-05
1

Apache Kafka 事务详解

Apache Kafka 是一个分布式流处理平台,主要用于实时数据的传输和处理。在现代的数据密集型应用中,事务性保证在数据传输和处理中的作用至关重要。本文将详细介绍 Kafka 的事务性支持,包括其基本概念、架构、使用方法以及...

2024-08-05
1

如何通过 CloudCanal 实现从 Kafka 到 AutoMQ 的数据迁移

随着大数据技术的飞速发展,Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统,已经成为企业实时数据处理的核心组件。然而,随着业务的扩展和技术的发展,企业面临着不断增加的存储成本和运维复杂性问题。为了更好地...

2024-07-29
1

百行代码实现 Kafka 运行在 S3 之上

是的,你没有看错。AutoMQ1 当前已经支持完全构建于像 S3 这样的对象存储之上。你可以参考快速上手3 即刻开始体验。AutoMQ 在已有的流存储引擎之上仅仅通过对顶层 WAL 的抽象进行拓展实现少量代码即可做到一些友商引以...

2024-07-29
1

Kafka生产者与消费者练习测试题

一、通过Producer API发送到kafka中的【topicHW】 注:topic自行创建 二、创建一个Consumer API程序,对kafka集群中的【topicHW】进行消费。 处理消费到的数据,将消费到的数据发送到另外一个名为topicDEAL 的topic中 ,要求...

2024-07-25
1

Kafka面试题持续更新【2023-07-14】

(1)Producer :消息生产者,就是向 kafka broker 发消息的客户端;

2024-07-25
1

【Flink实时数仓】需求二:用户事件信息宽表的构建 Kafka Hbase Flink

实时中的宽表其实是在退维,退维是数据处理中的一种操作,它是将细粒度的数据合并、归并为粗粒度数据的过程。在数据处理的过程中,原始数据往往包含大量的细节和细粒度信息,而有时候我们需要将这些细粒度数据转化为更高层次...

2024-07-25
4

接收Kafka数据并消费至Hive表

将Kafka中的数据消费到Hive可以通过以下简单而稳定的步骤来实现。这里假设的数据是以字符串格式存储在Kafka中的。

2024-07-25
2

为什么我们在规模化实时数据中使用Apache Kafka

了解网络安全供应商 SecurityScorecard 如何利用数据流来增强其业务能力。

2024-07-15
1

全网把Kafka概念讲的最透彻的文章,别无二家

消息队列老大哥Kafka在官网的介绍是这么说的,真是霸气:全球财富前100强公司有超过80%信任并使用Kafka。Kafka目前在GitHub目前也已经有star数27.6k、fork数13.6k。...

2024-07-07
1