最新 最热

Kafka 会不会丢消息?怎么处理的?

Kafka存在丢消息的问题,消息丢失会发生在Broker,Producer和Consumer三种。

2022-10-27
1

kafka消费端消费失败后怎么做后续处理?

比如在上面的消费逻辑处理过程中,失败了。那么此条消费要怎么处理呢?我是设置手动提交offset的。第一种方案:如果失败了以后,把失败的数据存入到数据库中,然后在提交offset。然后后续在定时的从数据库中把失败的数据再次发...

2022-10-27
1

Kafka 官方设计文档

http://kafka.apache.org/documentation/#design

2022-10-27
1

关于MQ的几件小事(一)消息队列的用途、优缺点、技术选型

(1)解耦:可以在多个系统之间进行解耦,将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯,只要该操作不是需要同步的,就可以改为使用MQ进行不同系统之间的联系,这样项目之间不会存在耦合,系统之间不会产生太大的影...

2022-10-27
1

关于MQ的几件小事(三)如何保证消息不重复消费

幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。

2022-10-27
1

关于MQ的几件小事(四)如何保证消息不丢失

数据不能多,也不能少,不能多是说消息不能重复消费,这个我们上一节已解决;不能少,就是说不能丢失数据。如果mq传递的是非常核心的消息,支撑核心的业务,那么这种场景是一定不能丢失数据的。...

2022-10-27
1

关于MQ的几件小事(五)如何保证消息按顺序执行

消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。举例:比如通过mysql binlog进行两个数据库的数据同步,由于对数据库的数据操作是具有顺序性的,如果...

2022-10-27
1

关于MQ的几件小事(七)如果让你设计一个MQ,你怎么设计

其实回答这类问题,说白了,起码不求你看过那技术的源码,起码你大概知道那个技术的基本原理,核心组成部分,基本架构构成,然后参照一些开源的技术把一个系统设计出来的思路说一下就好...

2022-10-27
1

Kafka分片存储、消息分发和持久化机制

Broker:消息中间件处理结点,一个 Kafka 节点就是一个 broker,多个 broker 可以组成一个 Kafka集群。Topic:一类消息,例如 page view 日志、click 日志等都可以以 topic 的形式存在,Kafka 集群能够同时负责多个 topic 的分发...

2022-10-27
1

一篇全搞定Kafka

所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用。

2022-10-27
1