最新 最热

自建kafka迁移到云上Ckafka整体方案

3. CKafka 消费端新起消费者,配置新的 CKafka 集群的 bootstrap-server,消费新的 CKafka 集群。

2021-12-03
1

【技术种草】CKafka调优笔记 消费堆积 服务CPU未跑满应该如何解决?

Proxy服务负责消费CKafka消息并解析,并分发消息至不同的CKafka topic。近期发现Proxy服务消费CKafka有消息堆积,且服务所在CVM CPU与内存资源大概只占用50%左右。...

2021-11-19
2

Ckafka 实现跨可用区容灾部署案例

CKafka 专业版支持跨可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以任选其中两个可用区购买跨可用区实例。该实例分区副本会强制分布在两个可用区节点上,这种部署方式能够让您的实例在单个可用区不...

2021-11-12
1

kafka丢失和重复消费数据

Kafka作为当下流行的高并发消息中间件,大量用于数据采集,实时处理等场景,我们在享受他的高并发,高可靠时,还是不得不面对可能存在的问题,最常见的就是丢包,重发问题。...

2021-09-08
2

视频直播:实时数据可视化分析

导语 | 本文描述了如何在腾讯云上使用云化后大数据组件来完成实时分析系统的设计和实现,阅读过程中通过对比云Ckafka、Flink和MySQL等组件的使用差异来体现云化方案的优势。文中以视频直播礼物打赏的场景为例,展示全/...

2021-09-06
2

kafka压测工具及实践指南

并发压测topic所有partition,比如topic ods_finder_log_19501_sec_i 总共300个partition,用20台机器压测,每台机器启动15个进程,每个进程分配一个partition

2021-08-26
1

Kafka集群间信息复制

Kafka 是最广泛使用的大数据消息分发组件,由于各种原因,大部分 Kafka 的用户都在不同的环境下保有多个集群,而数据整合分析的需求又要求这些集群的数据可以汇聚到一起。于是集群间的数据镜像成为了 Kafka 的一个重要需求...

2021-08-26
4

避坑指南:Kafka集群快速扩容的方案总结

导语 熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚...

2021-08-23
2

容灾案例:Kafka集群快速扩容的方案总结

熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出...

2021-08-20
1

消息中间件之Kafka集群跨区容灾迁移实践案例

Kafka作为当今一款最为流行的高性能消息中间件,确保其高可用性并具备跨区容灾能力是很多企业运维人员的职责之一。现在我们将我们平时帮客户做kafka集群跨区容灾迁移实践经验分享给大家,供参考。...

2021-08-20
1