业界主流的分布式消息队列(MQ)与技术选型
MQ的应用场景
- 服务解耦
- 削峰填谷
- 异步化缓冲
MQ的应用思考点
- 业务
- 生产端的可靠性投递
- 消费端的幂等性
- MQ
- MQ高可用
- 低延时
- 可靠性(副本)
- 堆积能力
- 可扩展性
业界主流的MQ对比
- ActiveMQ
- RabbitMQ
- RocketMQ
- Kafka
前沿
比较目前主流的三种MQ, ActiveMQ虽然也很好但是, 现在除了传统的行业, 以及老系统, 基本很少被使用了, 所以就不考虑ActiveMQ了, 因为很多传统行业一般也都是RabbitMQ
选取原则
首先，产品应该是开源的。开源意味着如果队列使用中遇到bug，可以很快修改，而不用等待开发者的更新。
其次，产品必须是近几年比较流行的，要有一个活跃的社区。这样遇到问题很快就可以找到解决方法。同时流行也意味着bug较少。流行的产品一般跟周边系统兼容性比较好。
最后，作为消息队列，要具备以下几个特性：
1、消息传输的可靠性：保证消息不会丢失。
2、支持集群，包括横向扩展，单点故障都可以解决。
3、性能要好，要能够满足业务的性能需求。
RabbitMQ
RabbitMQ开始是用在电信业务的可靠通信的，也是少有的几款支持AMQP协议的产品之一。
- 优点：
- 轻量级，快速，部署使用方便
- 支持灵活的路由配置。RabbitMQ中，在生产者和队列之间有一个交换器模块。根据配置的路由规则，生产者发送的消息可以发送到不同的队列中。路由规则很灵活，还可以自己实现。
- RabbitMQ的客户端支持大多数的编程语言。
- 缺点：
- 如果有大量消息堆积在队列中，性能会急剧下降
- RabbitMQ的性能在Kafka和RocketMQ中是最差的，每秒处理几万到几十万的消息。如果应用要求高的性能，不要选择RabbitMQ。
- RabbitMQ是Erlang开发的，功能扩展和二次开发代价很高。
RocketMQ
- RocketMQ是一个开源的消息队列，使用java实现。借鉴了Kafka的设计并做了很多改进。
- RocketMQ主要用于有序，事务，流计算，消息推送，日志流处理，binlog分发等场景。经过了历次的双11考验，性能，稳定性, 可靠性没的说。
- RocketMQ几乎具备了消息队列应该具备的所有特性和功能。
- java开发，阅读源代码、扩展、二次开发很方便。
- 对电商领域的响应延迟做了很多优化。在大多数情况下，响应在毫秒级。如果应用很关注响应时间，可以使用RocketMQ。
- 性能比RabbitMQ高一个数量级，每秒处理几十万的消息。
- 缺点：
- 跟周边系统的整合和兼容不是很好。
Kafka
Kafka的可靠性，稳定性和功能特性基本满足大多数的应用场景。
跟周边系统的兼容性是数一数二的，尤其是大数据和流计算领域，几乎所有相关的开源软件都支持Kafka。
Kafka高效，可伸缩，消息持久化。支持分区、副本和容错。
Kafka是Scala和Java开发的，对批处理和异步处理做了大量的设计，因此Kafka可以得到非常高的性能。它的异步消息的发送和接收是三个中最好的，但是跟RocketMQ拉不开数量级，每秒处理几十万的消息。
如果是异步消息，并且开启了压缩，Kafka最终可以达到每秒处理2000w消息的级别。
但是由于是异步的和批处理的，延迟也会高，不适合电商场景。
如何进行技术选型
- 各个MQ的性能, 优缺点, 相应的业务场景
- 集群架构模式, 分布式, 可扩展, 高可用, 可维护性
- 综合成本问题, 集群规模, 人员成本
- 未来的方向, 规划, 思考
