背景描述
某客户周末突然反馈线上某个业务无法访问,收到大量客诉,需要紧急协助排查。同时,客户DBA负责人反馈线上业务使用的云数据库Redis CPU飙升到100%,并且发现监控页面的数据无法显示当前的负载情况,需要腾讯云尽快解决。
云顾问解决方案
客户反馈问题后,大客户售后经理紧急联系当天值班的数据库运维同学进行排查,排查后发现Redis数据库CPU负载飙升的原因是有大量keys *命令导致的,占用了大量的资源,直接导致数据库卡死,连带云监控也无法获取到监控数据。为了快速恢复业务,客户紧急对keys *进行封禁以降低数据库的负载,优先恢复了业务。同时,客户内部也确认了调用keys *命令的具体业务模块,当天是由于该业务模块突然调用了大量的keys *导致的。
经过和客户沟通,建议客户开通云顾问的巡检服务,云顾问中有针对云数据库Redis高危命令的检查。客户开通云顾问服务后,通过巡检报告发现上百个redis实例存在使用高危命令的风险,客户根据提供的建议进行整改后,没有再次出现由于高危命令导致的线上故障,提升了业务的稳定性。