背景描述
某金融企业近期BI系统读取数据时发现核心主库和从库数据存在不一致,影响BI系统读取数据,导致客户的BI系统读取到了脏数据,生成的报表无法使用,延迟了业务线的处理时间。
此类故障对金融客户属于生产故障级别,如果重复出现,会影响银保监会对客户的安全评估。
云顾问解决方案
因为数据库在金融客户的数据存储以及调用业务中是非常重要的,且金融客户的重点业务对稳定性需求极高,要求产品在使用过程中得到提前预警和定期优化,所以云顾问对云数据库(MySQL)主从延迟也是重点监控,如果近 1 天主从延迟大于 3600s,云顾问会记录为高风险。
主从延迟过高,很大程度上是因为数据库无主键或二级索引、有大事务处理、DDL操作或实例规格过小等原因,在分析客户的数据库表操作过程中,发现由于源实例存在无主键表,同时存在不定期的truncate操作,导致源和目标数据产生不一致的情况,使BI系统读取到了脏数据。
大客户售后经理配合客户优化数据库的过程中,依赖云顾问定期对数据库进行巡检,数据库的风险项逐项排除,很好的避免了主从延迟以及库不可用的情况。