TDMQ是一个发布-订阅模型的消息系统,由 Broker、Apache BookKeeper、Producer、Consumer 等组件组成。
TDMQ的监控检查包含:broker,BookKeeper、客户侧健康检查3部分。
Broker健康检查:
通过巡检可以看到集群磁盘容量、生产速率/带宽、消费速率/带宽、消息总大小、消息总个数、订阅者数量。
1、如果Broker的CPU使用量、内存使用量、负载等,如果超过这个量级可以对生产消费进行适当限流,提交后端处理。
2、如果是生产速率/带宽出现异常,先排查下客户端是否有阻塞,是否异常,如果客户端未发现,反馈给服务端一起看。
3、如果topic、订阅者数量超限,可以先删除过期或者不需要的,然后提单让后端调整下。
BookKeeper健康检查:
1、如果磁盘使用率打满,需要执行删除过期消息,获取测试topic,并且去控制台进行直接升级。
2、磁盘IO、连接数打满,可能是量级比较大,先做适当的限流,并且对集群进行升级。
客户侧健康检查:
客户侧生产和消费主要依赖客户侧应用自身检查,做好客户侧的限流与降级。