最新 最热

Kafka:第一章:基本概念以及安装Kafka,单播模式和多播模式

定义:Kafka是一个基于zookeeper协调的分布式、多副本的(replica)、支持分区的(partition)系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流...

2022-03-07
1

近九万字的RabbitMQ图文详解

RabbitMQ 简介:RabbitMQ 基于 AMQP 标准,采用 Erlang 语言开发的消息中间件。

2022-03-07
1

RabbitMQ:第一章:6 种工作模式以及消息确认机制(理论与代码相结合)

RabbitMQ:第二章:Spring整合RabbitMQ(简单模式,广播模式,路由模式,通配符模式,消息可靠性投递,防止消息丢失,TTL,死信队列,延迟队列,消息积压,消息幂等性)...

2022-03-07
1

客快物流大数据项目(五十八):解析kafka消费出来的数据格式

目录解析kafka消费出来的数据格式一、解析kafka消费的OGG数据格式二、解析kafka消费的Canal数据格式解析kafka消费出来的数据格式一、解析kafka消费的OGG数据格式输出到kafka的数据结构table   表名op_typ...

2022-03-07
0

客快物流大数据项目(五十七):创建Kudu-ETL流式计算程序

创建Kudu-ETL流式计算程序实现步骤:在realtime目录创建 KuduStreamApp 单例对象,继承自 StreamApp 特质重写特质内的方法编写代码接入kafka集群消费其数据package cn.it.logistics.etl.realtimeimport cn.itcast.logi....

2022-03-07
2

Apache Flink 在移动云实时计算的实践

本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分:

2022-03-07
1

基于 Kafka 的实时数仓在搜索的实践应用

Apache Kafka 发展至今,已经是一个很成熟的消息队列组件了,也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常的活跃,通过社区成员不断的贡献代码和迭代项目,使得 Apache Kafka 功能越发丰富、性能越发稳定,成为企...

2022-03-04
1

2天,我把Kafka3的Kraft实现、元数据一致性算法彻底撸干净了!

Kafka 是消息队列中间件的代表产品,它与RocketMQ和RabbitMQ最大的区别在于:在某些场景,可以弃用Flink、Spark这样的计算引擎,借助Kafka Stream轻松实现数据处理。也即,Kafka不仅是消息引擎系统,也是分布式流处理平台。 最新...

2022-03-04
1

Kafka3有什么新特性?为什么性能提高了十几倍?

Kafka 是消息队列中间件的代表产品,它与RocketMQ和RabbitMQ最大的区别在于:在某些场景,可以弃用Flink、Spark这样的计算引擎,借助Kafka Stream轻松实现数据处理。也即,Kafka不仅是消息引擎系统,也是分布式流处理平台。 最新...

2022-03-04
1

从一个消费慢的例子深入理解 kafka rebalance

点击上方蓝色字体,选择“设为星标” 回复”学习资料“获取学习宝典 ---- 文章来源:https://lxkaka.wang/kafka-rebalance/ 前 言 消息队列是服务端必不可少的组件,其中Kafka可以说是数一数二的选择,对于大部分服务端的同...

2022-03-04
0