Apache Pulsar, RabbitMQ, RocketMQ机器消耗对比

2020-11-02 11:35:26 浏览数 (1)

Apache Pulsar, RabbitMQ, RocketMQ机器消耗对比

完整搭建一个三节点的性能最优的集群，需要多少台机器

RabbitMQ

绿色的 X 是 Exchange，红色是 Queue ，这两者都在 Server 端（称作 Broker），这部分由 RabbitMQ 实现

蓝色的是客户端，通常有 Producer 和 Consumer 两种类型

消息根据exchange的类型、routing_key以及binding_key进行分发和消费；

服务端单机部署时，需要两个条件：

  1. Erlang环境
  2. RabbitMQ安装包

启动时，只需要一条命令启动RabbitMQ服务：

代码语言：javascript复制
# 前台启动
rabbitmq-server
# 后台启动
rabbitmq-server -detached

集群部署时，依赖「镜像队列」实现高可用，需要一个主队列（master）节点，两个从队列（slave）节点，即需要三台机器。

RocketMQ

  • Producer：消息的发送者；举例：发信者
  • Consumer：消息接收者；举例：收信者
  • Broker：暂存和传输消息；举例：邮局
  • NameServer：管理Broker；举例：各个邮局的管理机构
  • Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
  • Message Queue：相当于是Topic的分区；用于并行发送和接收消息

集群特点

NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。

Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

服务端单机部署时，需要两个条件：

  1. JAVA环境
  2. RocketMQ安装包

启动时，需要两步

1.启动namesrv

代码语言：javascript复制
# 后台启动
nohup sh bin/mqnamesrv -n 你的公网IP:9876 &

2.启动Borker

代码语言：javascript复制
 # 后台启动
nohup sh bin/mqbroker -n 你的公网IP:9876 -c conf/broker.conf autoCreateTopicEnable=true &

集群部署时，4.5版本前，支持多主多从策略，但是主节点挂掉后都是人工运维，通过人手工切换主从关系。4.5版本后，加入自动容灾切换的 RocketMQ-on-DLedger Group功能。

RocketMQ-on-DLedger Group 是指一组相同名称的 Broker，至少需要 3 个节点，通过 Raft 自动选举出一个 Leader，其余节点 作为 Follower，并在 Leader 和 Follower 之间复制数据以保证高可用。

RocketMQ-on-DLedger Group 能自动容灾切换，并保证数据一致。

RocketMQ-on-DLedger Group 是可以水平扩展的，也即可以部署任意多个 RocketMQ-on-DLedger Group 同时对外提供服务。

总结，部署一个RocketMQ Dledger集群（包含一主两从），部署时最少需要三台机器，最多需要六台机器（三台用于NameServer集群，三台用于broker集群）。

Apache Pulsar

Pulsar 由 3 个主要组件组成：broker、Apache BookKeeper 和 Apache ZooKeeper。Broker 是无状态服务，客户端需要连接到 broker 进行核心消息传递。而BookKeeper 和 ZooKeeper 是有状态服务。BookKeeper 节点（bookie）存储消息与游标（cursor），ZooKeeper 则只用于为 broker 和 bookie 存储元数据。

服务端单机部署时，需要两个条件：

  1. JAVA环境
  2. Pulsar安装包

搭建 Pulsar 集群至少需要 3 个组件：ZooKeeper 集群、BookKeeper 集群和 broker 集群（Broker 是 Pulsar 的自身实例)。这三个集群组件如下：

ZooKeeper 集群（3 个 ZooKeeper 节点组成）

bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成）

broker 集群（3 个 Pulsar 节点组成）

启动时，需要3步

1、启动ZooKeeper

代码语言：javascript复制
# 后台启动    
bin/pulsar-daemon start zookeeper

2. 启动bookie

代码语言：javascript复制
# 后台启动    
bin/pulsar-daemon start bookie

3. 启动broker

代码语言：javascript复制
# 后台启动    
bin/pulsar-daemon start broker

官方建议至少需要6台机器：

  • 3 台用于运行ZooKeeper 集群，建议使用性能较弱的机器，Pulsar仅将ZooKeeper用于与协调有关的定期任务和与配置有关的任务，而不用于基本操作。
  • 3 用于运行bookie 集群和broker 集群，建议使用性能强劲的机器。

但是也可以在一台机器上同时部署ZooKeeper，bookie ，broker ，也就是最少需要三台机器就可以部署一个Pulsar 集群。

还可以在3台机器上部署ZooKeeper 集群，另外3台机器部署bookie 集群，另3台机器部署broker 集群，也就是共需要消耗9台机器。

总结，部署一个Pulsar 集群（包含一个ZooKeeper 集群（3 个 ZooKeeper 节点组成），一个bookie 集群（也称为 BookKeeper 集群，3 个 BookKeeper 节点组成），一个broker 集群（3 个 Pulsar 节点组成）），最少需要3台机器，官方建议6台机器，最多需要9台机器。

总结

备注：RabbitMQ和Apache Pulsar的三个节点都可以收发消息，而RocketMQ在主节点可以收发消息，从节点可以向Consumer发消息但是不能接收Producer的消息。

— 本文结束 —

zookeeper rabbitmq apache

0 人点赞