【项目实战-13】QPS上不去,日志组件埋的坑!

2021-02-23 20:51:21 浏览数 (1)

【问题表现】

SSO登录接口压测场景,在压测2分钟后QPS出现下降。排查QPS不稳定的原因。

【问题分析与排查思路】

  1. 确认域名方式请求

确认压测链路:

  1.   排查CLB的流量带宽,解析后IP,对应的CLB:pro-lb-认证,这个集群CLB同学已经评估过,剩余50G带宽,容量充足

2. 查看网络流量没有发现瓶颈后发现的sso的机器负载很高,内存占用很高。

3. 开始查找分析内存大是因为日志导致的。日志组件的逻辑是把日志生产到rabbitmq中,如果rabbitmq满了,就会暂存在内存的一个队列中,如果内存队列满了,会写磁盘,过程如下。其中内存队列数量上限设置为1000w,一轮又一轮的压测,系统里的日志堆积的越来越多导致服务内存高,QPS波动大。

4. 调整日志配置将内存队列数量上限设置为200w,进行压测验证QPS比较平稳。

【总结】

在本次压测的过程中,出现了因为内存使用过大而导致QPS下降的案例,在项目中要合理利用日志组件。

还要多关注生产环境配置的合理性,减少因为环境问题给压测‘埋坑’。

0 人点赞